[發明專利]一種多維度情緒識別方法及系統

在審

• 申請號: 202110890792.4
• 申請日: 2021-08-04
• 公開（公告）號: CN113780341A
• 公開（公告）日: 2021-12-10
• 發明（設計）人: 伍冬睿;徐祎璠
• 申請（專利權）人: 華中科技大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N20/20
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 王穎翀

本發明公開了一種多維度情緒識別方法及其系統，其方法包括：基于帶標簽的第一樣本集訓練情緒識別模型和標簽映射模型；將不帶標簽的第二樣本集輸入情緒識別模型，獲取生理特征在各情感維度上的預測標簽；將預測標簽輸入標簽映射模型，獲取對應生理特征在當前維度上的映射標簽；判斷預測標簽和映射標簽的一致性是否符合預設條件，選取一致性符合預設條件的情感維度進行自動標注，各情感維度自動標注值為對應維度預測標簽和映射標簽的加權平均值；根據新標注的數據繼續對情緒識別模型進行訓練，得到最終的情緒識別模型。利用半監督學習自訓練的方法為部分樣本自動添加標注并投入訓練，減少人工標注，降低了訓練情緒識別模型時的人工標注成本。

技術領域

本發明屬于情感識別領域，更具體地，涉及一種多維度情緒識別方法及系統。

背景技術

情感計算的目的是通過賦予計算機識別、理解、表達和適應人的情感的能力以實現和諧的人機交互，情緒識別是情感計算的重要組成部分之一，指通過不同形式的信號，例如語音、面部表情、生理信號等，來推測人類情感狀態的技術。情緒有多種表示方式，其中常用的兩種情感表示是類別型和維度型情感，相比于離散的類別型情感，維度型情感更適合于描述細粒度的、連續的情感，維度型情感的常用維度有Valence(愉悅度)、Arousal(喚醒度)和Dominance(支配度)。

通常構建性能良好的多維度情緒識別模型需要大量的帶標注數據，由于情感本身的不確定性和主觀性，在標注每個情感樣本時標注者往往需要反復斟酌才能給出合適的標簽，一般每個情感樣本也需要經多人標注后通過加權平均值等方式才能得出最終的標簽，由此使得多維情感數據的標注成本較高。

發明內容

針對現有技術的以上缺陷或改進需求，本發明提供了一種多維度情緒識別方法和系統，其目的在于利用半監督學習自訓練的方法為部分樣本自動添加標注，節約標注成本，由此解決多維情感數據的標注成本較高的技術問題。

為實現上述目的，按照本發明的一個方面，提供了一種多維度情緒識別方法，其包括：

獲取第一樣本集和第二樣本集，所述第一樣本集包括生理特征以及各生理特征在T個不同情感維度上標簽，所述第二樣本集包括不帶標簽的生理特征；

基于第一樣本集訓練情緒識別模型和標簽映射模型，所述情緒識別模型用于預測生理特征在各個情感維度的標簽，所述標簽映射模型用于根據同一生理特征在其他情感維度的標簽預測當前情感維度的標簽；

將第二樣本集輸入所述情緒識別模型，獲取生理特征在各情感維度上的預測標簽；

將同一生理特征的其他維度上的預測標簽輸入所述標簽映射模型，獲取對應生理特征在當前維度上的映射標簽；

分析同一生理特征在同一情感維度上獲得的預測標簽和映射標簽的一致性程度，選取一致性符合預設條件的情感維度進行自動標注，各情感維度自動標注值為對應維度預測標簽和映射標簽的加權平均值；

根據新標注的數據繼續對情緒識別模型進行訓練，得到最終的情緒識別模型。

優選地，所述方法還包括：選擇一致性程度與預設條件偏差最大的部分生理特征進行人工標注，根據人工標注的數據繼續對情緒識別模型進行訓練。

優選地，還包括：

基于最終的情緒識別模型，對生理特征在不同情感維度上進行標注，并根據標注結果識別生理特征對應的情緒。

優選地，

基于第一樣本集訓練情緒識別模型，包括：基于第一樣本集中的第t個情感維度的生理特征和標簽訓練對應第t個情感維度的情緒識別模型，獲得T個情緒識別模型，1≤t≤T；