[發明專利]一種基于多源信息融合的情感識別方法和人機交互系統

有效

• 申請號: 202110554464.7
• 申請日: 2021-05-21
• 公開（公告）號: CN113139525B
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 張靜莎;張騰宇;李增勇;李慧媛
• 申請（專利權）人: 國家康復輔具研究中心
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/30;G06V10/80;G06V10/82;G06K9/62;G10L15/02;G06F40/30;G06N3/04
• 代理公司: 北京迎碩知識產權代理事務所(普通合伙) 11512
• 代理人: 錢揚保;張群峰

1.一種基于多源信息融合的情感識別和人機交互系統，包括信息采集模塊、信號預處理模塊、信號分析模塊、特征融合模塊、情感識別模塊、反饋模塊、情感陪護模塊和人機交互模塊，其特征在于：

信息采集模塊，用于采集用戶的面部圖像信息、語音信息以及語義信息；

信號預處理模塊，用于對信息采集模塊采集到的信號預處理；

信號分析模塊，用于對信號預處理模塊得到的信號進行分析處理；

特征融合模塊，用于對信號分析模塊得到的情感特征進行特征融合；

情感識別模塊，用于根據特征融合模塊得到的融合的情感特征進行情感識別；

反饋模塊，用于將情感識別模塊識別到的用戶情感狀態反饋到情感陪護模塊；

情感陪護模塊，用于根據反饋模塊反饋的情感狀態推薦情感陪護模式；

人機交互模塊，用于根據情感陪護模塊生成的情感陪護模式進行人機交互；

其中信號預處理模塊進行的信號預處理包括面部圖像信號、語音信號和語義信號的預處理，其中，面部圖像信號預處理包括：利用滑動平均窗口的中值濾波器去除面部孤點噪聲，保持圖像的邊緣特性，利用灰度變換進行圖像歸一化處理，將采集到的面部圖像的灰度分布參數統一調整到預定的數值，調整圖像灰度分布的均值和均方差分別為0和1；語音信號預處理包括：利用巴特沃斯帶阻濾波器去除語音信號的50HZ工頻干擾，基于樣條插值和標準差的方法去除偽跡；語義信號預處理包括：對語義的數據長度進行歸一化預處理，設置每個語義信號的序列固定長度為N，對于大于長度N的信號進行剪裁，對于小于長度N的信號進行補零填充；

信號分析模塊對信號預處理模塊得到的信號進行分析處理包括：將預處理后的面部圖像信息通過卷積神經網絡模型進行特征提取，該神經網絡模型包含兩個卷積層、兩個最大池化層和一個全連接層，全連接層輸出為提取的圖像情感特征向量X_CNN，

其中，conv2表示卷積運算，W_CNN表示卷積核矩陣，valid是卷積的運算類型，X為輸入的圖像矩陣，B_CNN是偏置，表示池化運算；

將預處理后的語音信號通過長短時記憶網絡對音頻信號進行時頻域特征提取，輸出語音情感特征向量Y_LSTM，

其中,σ為激活函數，W_LSTM0、W_LSTM1為長短時記憶網絡輸入門和遺忘門的權重，B_LSTM0、B_LSTM1為長短時記憶網絡輸入門和遺忘門的偏置，Y為輸入的語音信號；

將預處理后語義信號通過長短時記憶網絡進行特征提取，輸出語義情感特征向量Z_LSTM，

其中,σ為激活函數，W_LSTM2、W_LSTM3為長短時記憶網絡輸入門和遺忘門的權重，B_LSTM2、B_LSTM3為長短時記憶網絡輸入門和遺忘門的偏置，Z為輸入的語義信號；

特征融合模塊對信號分析模塊得到情感特征進行特征融合包括：

對語音情感特征Y_LSTM、和語義情感特征Z_LSTM分別進行最大池化，得到池化后的特征向量

采用混合交叉熵注意力機制對語音情感特征和語義情感進行特征融合,混合交叉熵注意力機制的權重公式為：

其中，W是注意力權重向量，分別是是語音情感特征Y_LSTM、語義情感特征Z_LSTM進行一個最大池化后得到的特征向量，score是對齊函數；

加權后的語音語義融合特征為：

其中，o表示hardarm相乘，表示這兩個特征向量的全連接；

將圖像情感特征X_CNN＝[X1 X2 X3...Xn]與語音語義融合特征C_feature＝[C1 C2C3...Cm]進行全連接融合，得到最終融合特征D_feature，用矩陣表示為：

其中，m、n分別為語音語義融合特征、圖像情感特征的維度，N為語音語義融合特征、圖像情感特征的數量；

情感識別模塊根據特征融合模塊得到的融合的情感特征進行情感識別包括：

將得到的最終融合特征D_feature輸入到softmax分類器中進行情感識別，并將情感識別類型分為：負面、中性、正面，識別方式如下：

P(y)＝softmax(W_p*D_feature+b_p)

其中，W_p、b_p是分類器softmax的參數，P是某種情感的預測概率，是預測識別出的情感的概率最大值，通過解碼得到識別的情感類型；

情感陪護模塊包括情感陪護信息庫和智能學習模塊，所述情感陪護信息庫存儲有用戶的個人愛好信息，以及存儲有與個人愛好信息相匹配的情感陪護模式；所述智能學習模塊是預先設計好的智能學習模塊，用于自動學習能夠使用戶情感狀態調整變好的情感陪護模式，并自動添加到情感陪護信息庫；

智能學習模塊根據當推薦的情感陪護信息庫中某個情感陪護模式使用戶的情感由負面變為正面時，則給一個正向的激勵，若某個情感陪護模式使用戶的情感由正面變為負面時，則給一個負向的懲罰，智能學習模塊的函數表達式為：

其中，T為情感陪護模式，q_t為當前情感狀態，p_t為當前被推薦的情感陪護模式，q_t+1為下一個時刻采集到的用戶情感狀態，η為修正系數，r_t為獎勵系數，j為情感陪護模塊啟動的次數，m為在第i次情感陪護模塊啟動時情感陪護模式p_t的獎勵次數，n為第i次情感陪護模塊啟動時人機交互反饋的情感陪護模式p_t獎勵次數，k為第i次情感陪護模塊啟動時智能學習模塊推薦和人機交互反饋的情感陪護模式總次數；

人機交互模塊用于顯示情感陪護模塊推薦的自適應情感陪護模式以及通過語音、文字方式與使用者進行確認當前的某種情感陪護模式使用者是否喜歡；

當某種情感陪護模式的被推薦的概率比較高時，智能學習模塊則從云網絡平臺中搜集類似的情感陪護模式，并通過判斷與搜索到的情感陪護模式的相關性，將相關性程度高的情感陪護模式添加到情感陪護信息庫中，不斷豐富情感陪護信息庫，提高情感陪護的準確性；

智能學習模塊通過判斷搜索到的情感陪護模式與原情感陪護模式中的情感陪護的連接相似度，將相關性高的情感陪護模式添加到情感陪護信息庫中，具體公式如下：

其中，V_i、V_j分別為情感陪護模式中的第i和第j個關鍵詞句，ln(V_i)是V_i詞句的集合，Out(V_j)是所有與Vj詞句連接的詞句集合，W_ji是詞句V_i、V_j連接的權重，d是阻尼系數，rel_i表示V_i和V_j的連接度；

relx、rely分別表示原情感陪護模式和搜索到的情感阿陪護模式，γ為搜索到的情感陪護模式與原情感陪護模式的相似度，當γ取值為0.8-1時，表明兩種情感陪護模式的相似度非常相關，當γ取值為0.5-0.8時，表明兩種情感陪護模式的相似度相關，當γ取值為0-0.5時，表明兩種情感陪護模式不相關。