[發明專利]基于時空注意力網絡的在線學習參與度評估方法及評估系統、設備、存儲介質

有效

• 申請號: 202110497274.6
• 申請日: 2021-05-07
• 公開（公告）號: CN113326739B
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 姜新波;秦學英
• 申請（專利權）人: 山東大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V40/16;G06V10/44;G06V10/762;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 濟南金迪知識產權代理有限公司 37219
• 代理人: 趙龍群

本發明涉及基于時空注意力網絡的在線學習參與度評估方法及評估系統、設備、存儲介質，該評估方法包括：對視頻片段依次進行預處理、特征提取和變換；通過空間注意力模塊的輸出M_t；將M_t輸入到兩層Bi?LSTM模型，得到隱藏狀態利用時間注意力模塊，得到隱藏狀態的權重β_t；根據權值β_t調整輸入的隱藏狀態輸出隱藏狀態最后經過激活函數得到學習參與度評估結果Y_T。該方法既考慮該特征的空間信息的顯著性，同時考慮該特征在時間序列上的顯著性，并且能夠融合多類輸入特征，提高評估的準確性。

技術領域

本發明涉及基于時空注意力網絡的在線學習參與度評估方法及評估系統、設備、存儲介質，屬于人工智能技術領域。

背景技術

隨著數字媒體與網絡技術的發展，在線教育正逐步發展成為一種新型的教育模式。與傳統教育模式相比，在線教育能夠突破時間、空間的限制，拓寬學生獲取信息的渠道。但由于學生在學習過程中缺乏與教師的直接溝通和反饋，導致極低的完成率。因此及時獲取學生的學習狀態并做出相應調整，是提高網絡教育質量的關鍵。

學習參與度是體現學生學習狀況的重要指標，在學習過程中起著至關重要的作用。隨著慕課、公開課等一類網絡課程的大量出現，學習過程中學生參與度的自動評估問題受到研究人員的廣泛關注。實時獲取學生的學習參與度，并且及時反饋給教師，教師根據參與度的情況做出相應調整，進而影響學生的學習過程，能夠一定程度解決在線教育過程中存在的問題。

早期學習參與度的研究主要是基于簡單學習行為的統計方法，例如分析在線時長、閱讀數量、點擊次數等學習行為。這是由于早期時候數據采集能力以及計算能力的限制，研究只能在規模較小的數據上進行，并且只能處理一些簡單的特征。盡管受試者在學習過程的視頻數據蘊含著更豐富的行為與情感信息，但是早期基于特征點的方法很難提取此類信息，研究工作進展有限。隨著深度學習技術的出現與發展，能夠從大量視頻中直接提取受試者復雜的學習行為以及面部表情信息，進而評估其行為參與度與情感參與度，最終得到學習參與度。該方法是目前主流的參與度研究方法，稱之為視覺方法。兩類方法相比，統計方法有很強的主觀性，評估性能的好壞依賴于衡量指標。視覺方法直接從分析受試者入手，不受學習內容的約束，因此具有更強的普適性。如中國專利文獻CN111832669A公開了學習參與度識別網絡模型的建立方法及裝置，對獲取的多個視頻樣本進行預處理，得到融合特征；根據所述視頻樣本的融合特征，構建學習參與度識別網絡模型訓練用的最小批；依據所述最小批中視頻樣本對的嵌入向量距離與所述最小批中視頻樣本對的參與度標簽距離一致性有序的原則，構造有序度量損失函數，其中，所述嵌入向量由所述學習參與度識別網絡模型根據視頻樣本的融合特征計算得到；根據所述有序度量損失函數，優化所述學習參與度識別網絡模型中的參數。但是，目前的視覺方法只是將多類特征進行簡單的拼接，沒有充分挖掘特征內以及特征之間的顯著性信息。

同時，傳統的雙向長短期記憶網絡(Bi-LSTM)模型只有一個輸入信息，結果好壞很大程度取決于輸入的情況，Bi-LSTM模型缺乏外部調控的問題。

發明內容

針對現有技術的不足，本發明提供了基于時空注意力網絡的在線學習參與度評估方法及評估系統，該方法提出了空間注意力模塊與時間注意力模塊，對于每一幀特征，既考慮該特征的空間信息的顯著性，同時考慮該特征在時間序列上的顯著性，并且能夠融合多類輸入特征，提高評估的準確性。本發明提出的基于時間注意力的雙向自適應長短期記憶網絡,能夠根據幀特征的時間上的顯著性，調節雙向長短期記憶網絡的輸入，從而進一步提高準確性。

本發明還提供了一種計算機設備和存儲介質。

術語解釋：

1.Bi-aLSTM：雙向自適應長短期記憶網絡，是在Bi-LSTM模型的基礎上，構建了一個自適應模塊，能夠基于獲取的權重信息，自動調整Bi-LSTM模型的輸入。