[發明專利]一種基于多源信息融合的網絡學習注意力監測方法及系統

在審

• 申請號: 202110592337.6
• 申請日: 2021-05-28
• 公開（公告）號: CN113331839A
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 楊娟;黃奧
• 申請（專利權）人: 武漢科技大學
• 主分類號: A61B5/16
• 分類號: A61B5/16;A61B3/113;A61B3/14;A61B5/369;A61B5/372;A61B5/11
• 代理公司: 北京秉文同創知識產權代理事務所(普通合伙) 11859
• 代理人: 趙星;張文武

1.一種基于多源信息融合的網絡學習注意力監測方法，其特征在于，所述方法包括以下步驟：

S1：采集學習視頻數據和腦電波數據；

S2：對所述學習視頻數據和所述腦電波數據進行預處理；根據預處理后的學習視頻數據進行人眼視線估計，得到人眼視線定位信息；根據預處理后的腦電波數據提取腦電特征；

S3：將所述人眼視線定位信息和所述腦電特征輸入時序預測模型，進行學習注意力監測。

2.根據權利要求1所述的方法，其特征在于，所述對學習視頻數據和腦電波數據進行預處理，包括：

按照采樣周期T對所述學習視頻數據進行采樣，獲得學習序列圖片；按照采樣周期T對腦電波數據的波形數據進行分段。

3.根據權利要求2所述的方法，其特征在于，所述根據預處理后的學習視頻數據進行人眼視線估計，得到人眼視線定位信息，包括：

對學習序列圖片進行人臉識別和矯正，對矯正后的圖像進行深度CNN網絡H₁的多次卷積操作得到學習者人眼特征；對矯正后的圖像經過深度CNN網絡H₂的多次卷積操作得到學習者頭部姿態定位特征，再將所述頭部姿態定位特征送到分類回歸網絡，得到頭部姿態信息；

利用特征拼接的方式融合所述人眼特征和所述頭部姿態信息，得到人眼視線定位信息。

4.根據權利要求1所述的方法，其特征在于，所述時序預測模型為基于視線-腦電模態門控的LSTM預測模型；所述進行學習注意力監測，包括：

對每個時刻輸入的腦電特征和人眼視線定位信息進行模態門操作，給不同模態的特征賦予不同的動態權重，實現腦電特征與人眼視線定位信息的動態融合，將動態融合結果輸入到LSTM預測模型中；

所述LSTM預測模型根據網絡學習注意力監測的應用場景輸出相應的預測結果，所述應用場景包括回歸和分類，相應的預測結果包括學習注意力數值和學習注意力的類別。

5.根據權利要求1所述的方法，其特征在于，根據所述時序預測模型的預測結果和預設的閾值，確定是否通過學習終端進行學習注意力階段性反饋。

6.一種基于多源信息融合的網絡學習注意力監測系統，其特征在于，所述系統包括：

采集模塊，用于采集學習視頻數據和腦電波數據；

處理模塊，用于對所述學習視頻數據和所述腦電波數據進行預處理；根據預處理后的學習視頻數據進行人眼視線估計，得到人眼視線定位信息；根據預處理后的腦電波數據提取腦電特征；

監測模塊，用于將所述人眼視線定位信息和所述腦電特征輸入時序預測模型，進行學習注意力監測。

7.根據權利要求6所述的系統，其特征在于，所述對學習視頻數據和腦電波數據進行預處理，包括：

按照采樣周期T對所述學習視頻數據進行采樣，獲得學習序列圖片；按照采樣周期T對腦電波數據的波形數據進行分段。

8.根據權利要求7所述的系統，其特征在于，所述根據預處理后的學習視頻數據進行人眼視線估計，得到人眼視線定位信息，包括：

對學習序列圖片進行人臉識別和矯正，對矯正后的圖像進行深度CNN網絡H₁的多次卷積操作得到學習者人眼特征；對矯正后的圖像經過深度CNN網絡H₂的多次卷積操作得到學習者頭部姿態定位特征，再將所述頭部姿態定位特征送到分類回歸網絡，得到頭部姿態信息；

利用特征拼接的方式融合所述人眼特征和所述頭部姿態信息，得到人眼視線定位信息。