[發(fā)明專利]一種課堂音視頻智能筆記方法

有效

• 申請?zhí)枺?/td>: 202111110757.2
• 申請日: 2021-09-23
• 公開（公告）號: CN113840109B
• 公開（公告）日: 2022-11-08
• 發(fā)明（設(shè)計）人: 葉利華;孫洪波;金煜威;羊海豐;徐建成
• 申請（專利權(quán)）人: 杭州海宴科技有限公司
• 主分類號: H04N5/76
• 分類號: H04N5/76;H04N5/91;H04N21/44;H04N21/4402;H04N21/439;H04N5/262;G10L15/26;G10L15/18;G09B5/06
• 代理公司: 杭州奧創(chuàng)知識產(chǎn)權(quán)代理有限公司 33272
• 代理人: 王佳健

本發(fā)明公開了一種課堂音視頻智能筆記方法。通過在教室部署圖像獲取設(shè)備拍攝教學內(nèi)容展示區(qū)域，采用人工智能處理方法實現(xiàn)針對所拍攝教學內(nèi)容展示區(qū)域進行處理，完成對教師、學生的肖像和聲音進行脫敏；在內(nèi)容脫敏處理的同時，對在授課過程中所涉及的知識要點進行提取，實現(xiàn)知識點視頻片段自動切分；智能筆記對所提取的知識點與教學大綱知識綱要進行智能匹配，建立知識點智能檢索引擎，提供給題目搜索知識點以及對應(yīng)知識點搜索講解視頻應(yīng)用。本發(fā)明通過采用人工智能語義識別技術(shù)為基礎(chǔ)，實現(xiàn)了對視頻中出現(xiàn)的人物肖像和敏感語音進行脫敏處理、對視頻中教學內(nèi)容知識點進行自動提取、對知識點出現(xiàn)位置進行自動打標，實現(xiàn)課堂音視頻智能筆記。

技術(shù)領(lǐng)域

本發(fā)明屬于音視頻處理技術(shù)領(lǐng)域，具體涉及一種課堂音視頻智能筆記方法。

背景技術(shù)

近年來，隨著以物聯(lián)網(wǎng)、云計算、大數(shù)據(jù)、人工智能、AR為代表的新一代信息技術(shù)在教育領(lǐng)域的廣泛應(yīng)用，課堂的教學環(huán)境正在經(jīng)歷著從多媒體教室向智慧教室，從數(shù)字校園向智慧校園的轉(zhuǎn)變。

與其它教學學習方式相比，課堂教學學習方式是中小學生最合理的教學方式，教師在教學過程中會根據(jù)教學大綱、學生關(guān)聯(lián)知識掌握情況、過程反饋等因素，及時調(diào)整課堂教學進度、知識講解方式，盡可能使所有學生理解相關(guān)的知識點。授課結(jié)束后，通常教師布置的作業(yè)與當天課堂講解知識直接關(guān)聯(lián)，強化當天學習知識點的理解，學生在聽課過程中做到認真聽講，是完成知識學習最重要的環(huán)節(jié)。然而，在課堂教學過程中有相當一部分學生對老師講述的知識存在不注意聽講的問題，造成知識未理解或理解不夠全面。因此，下課后對當天學習知識的回顧是加深、鞏固知識的最有效途徑，如何在不增加家長各方面的負擔進行有效回顧成為當下迫切需要解決的問題。

作為學生接觸新知識的第一來源，教師在上課過程中，針對知識點需要展開大量詳細描述，為更加形象解釋內(nèi)容，教師還會伴隨大量肢體動作配合知識描述。學生在課堂中對這些知識已經(jīng)有初步理解，然而人的記憶曲線決定了學習需要及時回顧課堂內(nèi)容，但是絕大部分學生在聽課過程中根本無法完整記錄整個描述內(nèi)容。雖然一些公開課堂也有相關(guān)內(nèi)容的講解，但是相對本班課堂教學內(nèi)容而言，學生對自己老師講解知識的方法已經(jīng)熟悉，對相關(guān)內(nèi)容已經(jīng)在課堂中有所了解，回顧本班老師課堂內(nèi)容會有更好的效果，通過課堂音視頻錄像可以有效解決該問題。然而，課堂教學過程中包含一些教師和學生的個人隱私信息，將課堂原始數(shù)據(jù)直接對外發(fā)布，對學生、教師、學校等方面都有較大壓力，實際推廣難度大。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題是提供一種課堂音視頻智能筆記方法，通過在教室部署圖像獲取設(shè)備拍攝黑板、電子白板或PPT播放區(qū)，采用人工智能處理方法實現(xiàn)針對所拍攝黑板、電子白板或PPT播放區(qū)進行處理，完成對教師、學生的肖像和聲音進行脫敏；在內(nèi)容脫敏處理的同時，對在授課過程中電子白板或PPT播放區(qū)或黑板中所涉及的知識要點進行提取，實現(xiàn)知識點視頻片段自動切分；智能筆記對所提取的知識點與教學大綱知識綱要進行智能匹配，建立知識點智能檢索引擎，提供給題目搜索知識點以及對應(yīng)知識點搜索講解視頻應(yīng)用。

一種課堂音視頻智能筆記方法，包括如下步驟：

S1.安裝至少一個以上圖像獲取設(shè)備，所述圖像獲取設(shè)備朝向講臺上的教學內(nèi)容展示區(qū)域，在講臺位置安裝拾音器；所述的教學內(nèi)容展示區(qū)域為黑板區(qū)、電子白板或PPT播放區(qū)；

S2.設(shè)置圖像獲取設(shè)備拍攝范圍，分別標定教學內(nèi)容展示區(qū)域以及整個講臺活動區(qū)；

S3.對所拍攝的音視頻進行視頻和音頻內(nèi)容分離，分別獲得視頻流和音頻流，對所述視頻流執(zhí)行步驟S4-S8，對所述音頻流執(zhí)行步驟S9-S13；

S4.對視頻流進行解碼獲得視頻幀流，采用語義分割算法對視頻幀內(nèi)含的人體部位進行分割，并對分割后的人體部位進行填充或替換，生成新的視頻幀；

S5.對標定教學內(nèi)容展示區(qū)域進行文字檢測和識別；