[發明專利]一種基于多模態融合的在線學習智能輔助系統

在審

• 申請號: 202010435498.X
• 申請日: 2020-05-21
• 公開（公告）號: CN111695442A
• 公開（公告）日: 2020-09-22
• 發明（設計）人: 解侖;張秋瑜;徐濤;王志良;王先梅
• 申請（專利權）人: 北京科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京市廣友專利事務所有限責任公司 11237
• 代理人: 張仲波;鄧琳

1.一種基于多模態融合的在線學習智能輔助系統，其特征在于，包括：

學習圖形界面模塊，用于提供用戶在線學習界面，所述用戶在線學習界面包括用戶登錄界面、用戶個人空間界面、學習內容界面；

數據采集及可視化模塊，用于采集用戶的多模態情感數據，并將采集的多模態情感數據進行圖形化顯示；所述多模態情感數據包括表情信號數據、生理信號數據和眼動信號數據；

數據分析處理模塊，用于對采集的多模態情感數據進行分析處理，得到用戶的情感類型和氣質類型；

學習反饋模塊，用于根據用戶不同的情感類型實施相應的學習干預，所述學習干預包括給予鼓勵、學習流程調整、學習難度優化；

學習策略調整模塊，用于根據用戶不同的氣質類型調整用戶的學習策略，包括學習資源調整和學習方式調整。

2.根據權利要求1所述的在線學習智能輔助系統，其特征在于，所述數據采集及可視化模塊包括：

攝像頭，用于采集用戶的表情信號數據；

可穿戴式生理傳感器，用于采集用戶的生理信號數據；

眼動儀，用于采集用戶的眼動信號數據。

3.根據權利要求1所述的在線學習智能輔助系統，其特征在于，所述數據分析處理模塊包括：

生理信號數據處理單元，用于對采集到的生理信號數據進行預處理和時頻域特征提取，再利用其時頻域特征通過自編碼神經網絡獲取生理信號數據的高層特征；所述生理信號數據包括：皮膚導電性信號數據、心電信號數據、血容量脈沖信號數據；

表情信號數據處理單元，用于對采集到的表情信號數據進行預處理并提取卷積神經網絡特征，之后利用自編碼神經網絡進行選擇和融合，得到表情信號數據的高層特征；

多模態特征融合單元，用于利用自編碼神經網絡對生理信號數據的高層特征和表情信號數據的高層特征進行學習，實現兩個模態特征的融合，獲取用于分類的多模態融合特征，得到用戶的情感類型；

眼動信號數據處理單元，用于對采集的眼動信號數據進行分析處理，得到用戶的氣質類型。

4.根據權利要求3所述的在線學習智能輔助系統，其特征在于，對采集到的生理信號數據進行預處理包括：提取出生理信號數據的中值、均值、最小值、最大值、范圍、標準差、方差作為統計特征；從信號分析角度，提取信號幅度、偏度、峰度、頻譜能量作為頻譜特征；根據信號頻率特性，提取特定個數的包絡極大值點作為補充特征；

對采集到的表情信號數據進行預處理包括幀處理及人臉檢測；

所述多模態特征融合單元所選取的自編碼神經網絡能夠分別融合來自每一種模態的不同特征，通過自編碼神經網絡結構對不同模態的生理信號數據的內部特征進行信息壓縮，以減少后續分類網絡的結構復雜性和計算量。

5.根據權利要求3所述的在線學習智能輔助系統，其特征在于，所述眼動信號數據處理單元具體用于：

對于采集的原始眼動信號數據，每個數據點被識別為一個時間標簽和坐標的形式發送到數據庫中；

對原始眼動信號數據進行預處理，包括檢驗采樣點是否有效，剔除沒有眼動位置數據的點，剔除僅記錄了一只眼睛且無法識別是左眼還是右眼的數據點，以及剔除無法得到最終凝視點的數據點；

將處理后的有效數據通過卷積神經網絡提取相應特征，再通過支持向量機判斷出氣質類型。

6.根據權利要求1所述的在線學習智能輔助系統，其特征在于，所述情感類型包括：非常積極、比較積極、平靜、比較消極、非常消極；

所述學習反饋模塊具體用于：

當用戶當前情感類型為比較積極或非常積極時，給予獎賞或不作為；

當用戶當前情感類型為比較消極或非常消極時，給予鼓勵；

對于情感類型長時間處于比較消極或非常消極的用戶，在其原本學習流程中插入休息放松時間段或更改其學習資源難度；

當用戶當前情感類型為平靜時，保持當前學習流程。