[發明專利]一種基于多模態融合的在線學習智能輔助系統

在審

• 申請號: 202010435498.X
• 申請日: 2020-05-21
• 公開（公告）號: CN111695442A
• 公開（公告）日: 2020-09-22
• 發明（設計）人: 解侖;張秋瑜;徐濤;王志良;王先梅
• 申請（專利權）人: 北京科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京市廣友專利事務所有限責任公司 11237
• 代理人: 張仲波;鄧琳

本發明提供一種基于多模態融合的在線學習智能輔助系統，包括：學習圖形界面模塊，用于提供用戶在線學習界面；數據采集及可視化模塊，用于采集用戶的多模態情感數據，并將采集的多模態情感數據進行圖形化顯示；數據分析處理模塊，用于對采集的多模態情感數據進行分析處理，得到用戶的情感類型和氣質類型；學習反饋模塊，用于根據用戶不同的情感類型實施相應的學習干預；學習策略調整模塊，用于根據用戶不同的氣質類型調整用戶的學習策略。本發明能夠增強用戶在線學習過程中的交互感和體驗，從而進一步提升在線學習的學習效果。

技術領域

本發明涉及智能服務及網絡教育技術領域，特別涉及一種基于多模態融合的在線學習智能輔助系統。

背景技術

隨著信息技術在教育領域的不斷應用，教育模式和教育方法不斷發生變革。在線學習以其獨特的時空優勢成為當代眾多學習者的選擇。在線學習平臺如雨后春筍般相繼涌出。網上學習不受年齡、時間、地區的影響，可以接收到各種優秀課程資源。相較于傳統課堂教學，網上學習有利于培養學生自主學習、自主探索的能力。但是網上學習是一種師生、教學之間的時空分離狀態，通常老師無法掌握學生的學習狀態，對于自律能力不強的學生，容易出現學習效率不高的問題。通常，老師是通過學生學習時的面部表情來判斷學生的學習狀態和對該課程知識的感興趣程度，因此，在智慧教育中要解決的關鍵問題是實現對學習者的學習情緒檢測與識別。

情感識別研究的重要基礎是有一個合適的情感特征，當前學者對各種單一模態的情感識別研究較多，而對兩種情感模態以上的情感特征關注較少。情感識別的實質就是在上述情感載體中提取出特征，并給出其中隱藏的情感信息。當前很多情感識別的方法都只依賴于面部表情，這種僅僅依據單一載體傳遞的信息來識別情感的方式稱為單模態情感識別，然而這種情感識別往往是片面的，主要原因在于情感表達方式的多樣性。比如人們在愉悅時，除了表現在面部嘴角上揚，面部肌肉放松外，說話的音調也會稍稍提高，音色會變得輕快。因此，單個模態傳遞的信息缺乏完整性，成熟的情感識別需要各個模態之間的相互融合。借助深度學習的方法，可以實現自適應地特征提取，避免重復勞動，在一定程度上提高情感識別的效率。

發明內容

本發明的目的在于提供一種基于多模態融合的在線學習智能輔助系統，解決現有技術中情感識別模式單一的問題，提高情感識別效率，從而提升用戶在線學習的交互感和體驗。

為解決上述技術問題，本發明的實施例提供如下方案：

一種基于多模態融合的在線學習智能輔助系統，包括：

學習圖形界面模塊，用于提供用戶在線學習界面，所述用戶在線學習界面包括用戶登錄界面、用戶個人空間界面、學習內容界面；

數據采集及可視化模塊，用于采集用戶的多模態情感數據，并將采集的多模態情感數據進行圖形化顯示；所述多模態情感數據包括表情信號數據、生理信號數據和眼動信號數據；

數據分析處理模塊，用于對采集的多模態情感數據進行分析處理，得到用戶的情感類型和氣質類型；

學習反饋模塊，用于根據用戶不同的情感類型實施相應的學習干預，所述學習干預包括給予鼓勵、學習流程調整、學習難度優化；

學習策略調整模塊，用于根據用戶不同的氣質類型調整用戶的學習策略，包括學習資源調整和學習方式調整。

優選地，所述數據采集及可視化模塊包括：

攝像頭，用于采集用戶的表情信號數據；

可穿戴式生理傳感器，用于采集用戶的生理信號數據；

眼動儀，用于采集用戶的眼動信號數據。

優選地，所述數據分析處理模塊包括：