[發明專利]一種課堂音視頻智能筆記方法

有效

• 申請號: 202111110757.2
• 申請日: 2021-09-23
• 公開（公告）號: CN113840109B
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 葉利華;孫洪波;金煜威;羊海豐;徐建成
• 申請（專利權）人: 杭州海宴科技有限公司
• 主分類號: H04N5/76
• 分類號: H04N5/76;H04N5/91;H04N21/44;H04N21/4402;H04N21/439;H04N5/262;G10L15/26;G10L15/18;G09B5/06
• 代理公司: 杭州奧創知識產權代理有限公司 33272
• 代理人: 王佳健

1.一種課堂音視頻智能筆記方法，其特征在于該方法包括如下步驟：

S1. 安裝至少一個圖像獲取設備，所述圖像獲取設備朝向講臺上的教學內容展示區域，在講臺位置安裝拾音器；所述的教學內容展示區域為黑板區、電子白板或PPT播放區；

S2. 設置圖像獲取設備拍攝范圍，分別標定教學內容展示區域以及整個講臺活動區；

S3. 對所拍攝的音視頻進行視頻和音頻內容分離，分別獲得視頻流和音頻流，對所述視頻流執行步驟S4-S8，對所述音頻流執行步驟S9- S13；

S4. 對視頻流進行解碼獲得視頻幀流，采用語義分割算法對視頻幀內含的人體部位進行分割，并對分割后的人體部位進行填充或替換，生成新的視頻幀；

S5. 對標定教學內容展示區域進行文字檢測和識別；

S6. 通過采用前后視頻幀內容識別方法對所識別的文字信息進行分析比較，提取課堂知識點，并記錄每個知識點第一次出現的時間位置；

S7. 按照標定的講臺活動區，切除圖像多余部分并調整為標準尺寸；

S8. 針對分割后的視頻幀流，采用標準視頻壓縮算法生成脫敏后的視頻流；

S9. 對音頻流采用語音分段處理算法，將長語音流分割為多段短語音流；

S10. 采用語音識別算法，將各段短語音轉換為文字，并利用上下文語義識別獲得語音文本轉換數據；

S11. 對所獲語音文本轉換數據進行內容審核，標定出現敏感內容的位置；

S12. 根據標定的位置，對相應時間位置的語音內容進行過濾，去除不適合公開播放的語音內容，并對聲音進行優化處理；

S13. 合并所有處理后的短語音流，生成新的音頻流；

S14. 合并S8所獲視頻流和S13所獲音頻流，得到脫敏后的音視頻文件；

S15. 按照文字內容識別結果，標定出現知識點的起始位置，并生成知識點快照；

S16. 將所得到的脫敏音視頻文件和知識點快照，發布到流媒體平臺，得到便于學生觀看的課堂音視頻智能筆記；

S17. 學生提交題目，課堂音視頻智能筆記通過分析題目內容，實現題目到課堂知識點轉換，提供課堂知識點播放鏈接。

2.根據權利要求1所述的一種課堂音視頻智能筆記方法，其特征在于：S4中所述語義分割算法用于精確分割人體臉部以及軀體部位，根據配置對人體臉部以及軀體部位進行不同方式的替換處理，包括馬賽克、模糊處理、卡通形象替換、統一顏色替換、分顏色替換或幀背景像素替換。

3.根據權利要求1所述的一種課堂音視頻智能筆記方法，其特征在于：S5中對所檢測到的文字分行區域，按照文字分行區域位置進行區域重組；然后按照檢測的文字區域長度進行過濾，將普通內容框去掉，獲得可能的知識點位置；將這些可能的知識點位置通過文字識別算法獲得文字短句，所獲內容按照知識點規則進行過濾，獲得當前圖像的知識點列表。

4.根據權利要求3所述的一種課堂音視頻智能筆記方法，其特征在于：S6中跟蹤記錄一節課堂所有知識點，將S5中所獲取的知識點列表與前面圖像中積累的知識點進行比較，判斷是否有新增加知識點；假如有新增知識點，則更新整個知識點列表，并記錄新增知識點的時間起始位置。

5.根據權利要求1所述的一種課堂音視頻智能筆記方法，其特征在于：S9中通過音頻聲音大小幅值來判斷說話停頓點，即音頻幅值小于閾值T，則將音頻分割。

6.根據權利要求1所述的一種課堂音視頻智能筆記方法，其特征在于：S15中還包括通過知識點快照構建題目知識點內容圖譜關系。