[發明專利]學習參與度識別網絡模型的建立方法及裝置

有效

• 申請號: 202010991609.5
• 申請日: 2020-09-21
• 公開（公告）號: CN111832669B
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 徐敏;董瑤;馬曉陽;周麗娟;張樹東;孫眾
• 申請（專利權）人: 首都師范大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06K9/00
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 許曼;賈磊

本文提供了一種學習參與度識別網絡模型的建立方法及裝置，方法包括：對獲取的多個視頻樣本進行預處理，得到融合特征；根據所述視頻樣本的融合特征，構建學習參與度識別網絡模型訓練用的最小批；依據所述最小批中視頻樣本對的嵌入向量距離與所述最小批中視頻樣本對的參與度標簽距離一致性有序的原則，構造有序度量損失函數，其中，所述嵌入向量由所述學習參與度識別網絡模型根據視頻樣本的融合特征計算得到；根據所述有序度量損失函數，優化所述學習參與度識別網絡模型中的參數。本文能夠提高學習參與度識別的準確度。

技術領域

本文涉及人工智能領域，尤其涉及一種學習參與度識別網絡模型的建立方法及裝置。

背景技術

參與是情感狀態的一種，它包括情感參與、行為參與、認知參與等方面。學習參與度是教師與學生通過教育、教學活動的相互作用所表現出的結果，是評估學生學習參與情況的重要指標。在傳統教育中，教師可以直接觀察學生的行為判斷學生的參與度，但無法同時全面地觀察到每一個學生。隨著電子學習環境在教育領域的出現，在線教育提供了一種全新的知識傳播模式和學習方式。線上教育平臺利用豐富的網絡信息資源進行教育活動，師生間的教與學可以不受時間和空間的限制，知識獲取方式更加靈活化與多樣化。然而，基于網絡課程的遠程性質和龐大規模，在線教育普遍存在輟課率高和完成率低的現象，因此，急需一種線上學習參與度識別方法以提供學生在線學習反饋和指導教師的干預。由此可見，進行參與度識別研究對提高在線學習質量具有重大意義。

參與度識別與人臉識別等其他分類任務相比較，具有參與度標簽有序性的特點。目前度量學習方法在解決標簽有序的分類問題時，一般都是通過將連續標簽量化為二分類標簽（相似或不相似），并沒有充分利用連續標簽視頻或圖像中豐富的相似性語義信息，并且需要對量化相似性的閾值進行仔細調整。另外，參與度識別這個任務存在嚴重的樣本數據分布不均衡問題，無論是在線學習環境還是傳統課堂，大多數受教育者都能認真聽講保持較高的參與程度，只有少數受教育者不專心而有較低的參與程度。

在線學習環境中，參與度識別可以基于各種數據模式實現，如學生上課的反應、面部表情或身體動作，甚至是先進的生理和神經測量，而利用圖像采集設備記錄學生在線學習過程是捕獲學生數據特征的一個很好的方式。2014年Whitehil等人利用視頻分析人臉特征，并構建了用于參與度預測的SVM分類器；2017年Monkaresi等人同時收集22名學生的面部視頻和心率數據，并將面部跟蹤特征、LBP-TOP特征和心率特征一起用于構造機器學習模型和參與度預測；Niu等人采用OpenFace進行面部表情（AU）、頭部姿態特征（Head Pose）以及眼睛凝視特征（Eye Gaze）提取，設計提出了Gaze-AU-Pose特征用于參與度識別任務。

隨著深度學習的快速發展，深度度量學習方法被廣泛應用于包含人臉識別、圖像分類、行人再識別等任務，充分驗證了它對于解決視覺分類和識別這類任務的有效性。目前對深度度量學習方法的研究主要分為兩個方向，一個方向是對深度網絡結構的設計與優化，另一個更重要的方向則是對目標損失函數的改進，常用的損失函數包含對比損失、三元組損失、四元組損失、N-Pair損失以及Rank損失，它們目標都是約束使得在嵌入空間中，正樣本的距離盡可能小，同時負樣本的距離盡可能大。

現有技術中學習參與度識別方法并未考慮參與度識別任務的特點（例如樣本數據分布不均衡、連續視頻或圖像有豐富的相似性語義信息等等），具有識別準確率低的缺陷。

發明內容

本文用于解決現有技術中學習參與度識別方法并未考慮參與度識別任務的特點，具有識別準確率低的缺陷。

為了解決上述技術問題，本文的第一方面提供一種學習參與度識別網絡模型的建立方法，包括：

對獲取的多個視頻樣本進行預處理，得到所述視頻樣本的融合特征；

根據所述視頻樣本的融合特征，構建學習參與度識別網絡模型訓練時的最小批；