[發(fā)明專利]一種基于多源信息融合的學習情感狀態(tài)識別方法

有效

• 申請?zhí)枺?/td>: 201810450003.3
• 申請日: 2018-05-11
• 公開（公告）號: CN108664932B
• 公開（公告）日: 2021-07-09
• 發(fā)明（設計）人: 劉海;楊宗凱;劉三女牙;張昭理;舒江波;陳瑩瑩;劉婷婷
• 申請（專利權）人: 華中師范大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 湖北武漢永嘉專利代理有限公司 42102
• 代理人: 李丹

1.一種基于多源信息融合的學習情感狀態(tài)識別方法，其特征在于：包括以下步驟：

1)建立在線表情識別和在線學習交互情感識別兩類模式的情感認知架構，所述在線表情識別是通過在線學習平臺采集在線學習者的表情圖像序列得到，所述在線學習交互情感識別是通過在線學習平臺的Web日志文件收集交互行為數(shù)據(jù)獲得交互操作行為序列；

2)采用大量圖像的脫機訓練建立對應表情特征分類的情感規(guī)則庫；將在線學習平臺采集的學習者的表情圖像序列輸入情感規(guī)則庫進行對比，輸出表情特征分類結果，即高興、專注、厭煩和生氣；

3)提取在線交互操作行為序列中的點擊流數(shù)據(jù)，利用主觀貝葉斯方法對點擊流數(shù)據(jù)進行不確定性推理，然后進行深層次的分析，把握學習者行為特點和行為路徑，從而判斷學習者對學習內容的操作行為傾向，分為感興趣或不關注兩種；

4)以步驟3)獲取的學習者在線交互操作行為傾向為基礎，融合從步驟2)獲取的表情特征識別結果，其中將學習者人臉表情特征中的高興、專注劃分為感興趣，將學習者人臉表情特征中的厭煩、生氣劃分為不關注；

若二者融合的結果是感興趣與感興趣，則判斷學習者情感狀態(tài)為滿意情緒，二者融合的結果是不關注與不關注，則判斷學習者情感狀態(tài)為困惑情緒，二者融合的結果是感興趣與不關注，判斷學習者情感狀態(tài)為不確定情緒，將其作為學習者情感狀態(tài)的最終識別結果并輸出；

5)依據(jù)學習者情感狀態(tài)的最終識別結果，提取典型的情感狀態(tài)，進行規(guī)則擴展，存儲到情感規(guī)則庫中。

2.根據(jù)權利要求1所述的基于多源信息融合的學習情感狀態(tài)識別方法，其特征在于，所述步驟1)中通過在線學習平臺采集在線學習者的表情圖像序列和交互操作行為序列，是以課程章節(jié)為單位通過在線學習平臺采集。

3.根據(jù)權利要求1所述的基于多源信息融合的學習情感狀態(tài)識別方法，其特征在于，所述步驟2)中情感規(guī)則庫的建立，包含兩個部分，一方面融合專業(yè)的表情識別庫，另一方面對學習者在線情感狀態(tài)最終識別結果中的典型情緒狀態(tài)進行規(guī)則擴充。

4.根據(jù)權利要求1所述的基于多源信息融合的學習情感狀態(tài)識別方法，其特征在于，所述步驟2)中表情圖像序列的處理方法如下：

2.1)去除原圖的復雜背景

將采集到的原始圖像序列按照時間順序進行排列，將原圖中面部表情特征以外的冗雜背景信息去除，統(tǒng)一圖片大小；

2.2)圖像歸一化處理；

圖像歸一化處理，即用d代表兩眼角距離作為特征歸一化因子，并采用如下(1)式的歸一化方式對人臉局部的幾何特征進行歸一化處理，如式(1)所示

X_i＝d_i/d(1)

其中d_i是指人臉局部特征點之間的距離，X_i是指處理之后的面部表情幾何特征；

2.3)參照MEPG-4標準對人臉特征點的定義，提取66個FAP參數(shù)中的52 個與眉毛、眼睛、鼻子、嘴唇有關的幾何點；其中FAP是一個與面部肌肉運動密切相關基于人臉細微運動研究的完整面部運動集合；

2.4)將各幀圖像內相匹配的特征點進行逐幀連接，形成特征點軌跡，根據(jù)任意兩個特征點軌跡在各幀圖像所屬特征點相對距離平均值進行聚類，對聚類后特征點軌跡進行分類；

2.5)從各軌跡分類中提取人臉局部幾何特征的主運動軌跡；對所有主運動軌跡進行特征融合，然后與情感規(guī)則庫進行對比，輸出表情識別結果，即高興、專注、厭煩和生氣；其中所述特征融合，即采用最基本的串行特征融合方法，將同一表情樣本空間的人臉局部特征歸一化處理后合并為一列特征向量。

5.根據(jù)權利要求1所述的基于多源信息融合的學習情感狀態(tài)識別方法，其特征在于，用戶對學習內容的操作行為傾向的判斷方法如下：

3.1)提取點擊流數(shù)據(jù)，所述點擊流數(shù)據(jù)包括學習者瀏覽的站點、網(wǎng)頁、在網(wǎng)頁上滯留的時間、點擊的鏈接和圖片，以及瀏覽頁面的順序；

3.2)提取點擊流數(shù)據(jù)中主要特征的頻次，包括學習者在線學習時長、論壇訪問次數(shù)、點擊圖像鏈接次數(shù)、點擊文字鏈接次數(shù)和交流工具使用偏好；

3.3)利用主觀貝葉斯方法，進行不確定性推理，即通過對學習者在線操作行為的不確定性、隨機性，就學習者對所學內容的關注程度和感興趣程度作出判斷。