[發明專利]課堂教學事件分析方法及裝置

有效

• 申請號: 202010899537.1
• 申請日: 2020-08-31
• 公開（公告）號: CN112069970B
• 公開（公告）日: 2022-10-04
• 發明（設計）人: 孫眾;施智平;駱力明;呂愷悅;溫興森;許飛云
• 申請（專利權）人: 首都師范大學
• 主分類號: G06V10/82
• 分類號: G06V10/82;G06V20/40;G06V40/20;G06V10/764;G06V10/774;G06K9/62;G06N3/04;G06N3/08;G06Q10/06;G06Q50/20
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張大威

1.一種課堂教學事件分析方法，其特征在于，包括以下步驟：

S1，通過多源數據之間的關聯分析和特征匹配，形成教學事件識別規則集，通過所述規則集進行不同教學事件的識別，并歸類為不同教學階段；

S2，生成不同教學階段里的教學法結構排序；

S3，通過時間取樣對不同教學階段里的言語和行為交互進行編碼；

S4，根據教育學理論，基于證據對分析結果進行解讀；

S5，根據解讀結果，通過人機協同生成優化課堂教學改進機制；

所述S1進一步包括：通過多源數據之間的關聯分析和特征匹配，建立教學設計里的關鍵短文本、視頻里的關鍵場景和動作識別，實錄文本里的交互方式切換關鍵詞，形成教學事件識別規則集，進行不同教學事件的識別，并歸類為不同教學階段；

所述S1進一步包括：

S11，提取課堂教學轉錄文本中的教學事件，并對教學事件進行分類，對每個教學事件進行特征分析，給出每個教學事件的標簽，并注明教學事件的類別，對教學事件的標簽進行標注，將標注后的數據作為訓練集；

S12，通過深度學習模型訓練得到詞向量的權重矩陣，將所述權重矩陣和訓練集輸入到循環神經網絡中進行模型訓練，得到事件分類器，通過所述事件分類器，利用所述事件分類器進行事件識別；

所述S2進一步包括：根據自然語言理解技術，建立教學法結構序列分類器，所述教學法結構分類器的輸入為文本型數據，通過注意力機制來確定所述文本型數據中句子核心詞和事件核心句，通過對所述文本型數據中的句子和篇章分別進行建模，生成教學法結構序列；

所述S3進一步包括：

通過自然語言理解技術，對每一個教學階段內部的關鍵詞語進行統計和歸類，采用編碼體系中的標準一一對應，進行教學階段內部的言語交互分析；

通過計算機視覺技術，判斷師生的骨架變化，根據所述骨架變化進行分析。

2.根據權利要求1所述的課堂教學事件分析方法，其特征在于，所述S3進一步包括：

S31，獲取靜態視頻幀，對所述靜態視頻幀進行場景分類；

S32，場景分類后，利用目標檢測方法對教學視頻中的關鍵互動設備進行識別；

S33，利用空域特征分析，基于OpenPose框架分析骨骼關鍵序列特征，實時骨骼關鍵人體姿態預測算法，在靜態圖像動作識別算法的基礎上，圍繞著課堂場景，在教學視頻中對學生動作進行識別和統計。

3.一種課堂教學事件分析裝置，其特征在于，包括：

識別模塊，用于通過多源數據之間的關聯分析和特征匹配，形成教學事件識別規則集，通過所述規則集進行不同教學事件的識別，并歸類為不同教學階段；

排序模塊，用于生成不同教學階段里的教學法結構排序；

內部分析模塊，用于通過時間取樣對不同教學階段里的言語和行為交互進行編碼；

解讀模塊，用于根據教育學理論，基于證據對分析結果進行解讀；

改進模塊，用于根據解讀結果，通過人機協同生成優化課堂教學改進機制；

所述識別模塊，具體用于通過多源數據之間的關聯分析和特征匹配，建立教學設計里的關鍵短文本、視頻里的關鍵場景和動作識別，實錄文本里的交互方式切換關鍵詞，形成教學事件識別規則集，進行不同教學事件的識別，并歸類為不同教學階段；

所述識別模塊，包括：

標注單元，用于提取課堂教學轉錄文本中的教學事件，并對教學事件進行分類，對每個教學事件進行特征分析，給出每個教學事件的標簽，并注明教學事件的類別，對教學事件的標簽進行標注，將標注后的數據作為訓練集；

訓練單元，用于通過深度學習模型訓練得到詞向量的權重矩陣，將所述權重矩陣和訓練集輸入到循環神經網絡中進行模型訓練，得到事件分類器，通過所述事件分類器，利用所述事件分類器進行事件識別；

所述內部分析模塊，具體用于通過自然語言理解技術，對每一個教學階段內部的關鍵詞語進行統計和歸類，采用編碼體系中的標準一一對應，進行教學階段內部的言語交互分析；通過計算機視覺技術，判斷師生的骨架變化，根據所述骨架變化進行分析。