[發明專利]一種基于語音、表情與姿態的三模態情感識別方法

在審

• 申請號: 201611233344.2
• 申請日: 2016-12-28
• 公開（公告）號: CN106803098A
• 公開（公告）日: 2017-06-06
• 發明（設計）人: 郭帥杰;盧官明;閆靜杰;李海波
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 南京經緯專利商標代理有限公司32200
• 代理人: 姜慧勤

技術領域

本發明涉及一種情感識別方法，特別是涉及一種基于語音、表情與姿態的三模態情感識別方法，屬于圖像處理與模式識別技術領域。

背景技術

人類情感在人類交流方面扮演著至關重要的角色，其傳遞的信息非常豐富。隨著科學技術和人類社會的不斷進步，智能機器步入了千家萬戶，能感知人類情感并做出相應反映的人機交互領域迫切地需要得到發展。至于如何有效地進行人機交互，首要的關鍵點在于如何使機器正確地識別出人類所表達出的情感，即所謂的情感識別。

人類的情感狀態可以被人為地分成一些類別，如悲傷、高興、厭惡、恐懼、驚嚇等，有關情感分類識別的研究也取得了一定的進展。但遺憾的是，現今存在的情感識別技術大多是針對一個或兩個模態的。單單只利用某一種模態的信息來預測情感的方式，稱為單模態情感識別。在現實生活中，人類情感的表達方式是多種多樣的，在說話的同時，我們會做出相應的表情，有時還會伴隨著一些肢體動作。所以，從現實的人類情感交互的過程中，我們可以看到，單一模態的情感信息是不完善且不豐富的，對于情感的準確判別是遠遠不夠的，各個模態的情感信息之間是相輔相成，缺一不可的。

由于多模態特征數據的龐大性與復雜性，導致在后期處理的時候可能遭遇實時性及穩定性不足的問題，因此利用特征降維及歸一化技術，我們可以對特征進行一定的篩選與優化，同時借助于特征融合方法將各個模態的情感特征相互融合起來，以使其更能反映出樣本的真實特性，增加了系統的實時性與魯棒性。

目前，人工智能領域得到了飛速的發展，如何讓冰冷的機器順利地感知人類表達出來的情感是學術界的一項熱門課題。然而現今還只停留在單模態如表情或語音的情感識別上，能綜合各種模態的情感信息的情感識別方法還有待發展。

發明內容

本發明所要解決的技術問題是：提供一種基于語音、表情與姿態的三模態情感識別方法，解決了現有技術不能充分利用人類表達情感過程中各模態情感信息的問題，為人機交互領域的情感識別系統開辟出一條新的途徑。

本發明為解決上述技術問題采用以下技術方案：

一種基于語音、表情與姿態的三模態情感識別方法，包括如下步驟：

步驟1，獲取不同情感分類的語音、表情與姿態三種模態的圖像，并將各個模態的圖像與各自的情感類別標簽一一對應，建立三模態情感數據庫，將庫中不同情感分類各個模態的圖像分為訓練樣本和測試樣本；

步驟2，分別對各個模態的訓練樣本和測試樣本進行情感特征提取，然后進行降維處理，構建各個模態訓練樣本和測試樣本的特征矩陣；并對訓練樣本、測試樣本各個模態的特征矩陣分別進行歸一化；

步驟3，將訓練樣本、測試樣本各個模態歸一化后的特征矩陣相互融合起來，得到訓練樣本、測試樣本融合后的特征矩陣；

步驟4，利用訓練樣本融合后的特征矩陣識別測試樣本融合后的特征矩陣中各測試樣本的類別，得到各測試樣本的分類結果。

作為本發明的一種優選方案，步驟1所述不同情感分類包括：悲傷、高興、厭惡、恐懼、驚嚇、中性。

作為本發明的一種優選方案，步驟2所述對訓練樣本、測試樣本各個模態的特征矩陣分別進行歸一化，具體步驟如下：

以語音特征矩陣為例，降維處理后的訓練樣本和測試樣本的語音特征矩陣分別記為V_tr(d₁行n列)和V_te(d₁行m列)，n、m分別為訓練樣本、測試樣本的數目，d₁為語音情感特征降維后的維數；

在所有n個訓練樣本的d₁維特征向量中，求出每一維特征的最大值，即

其中，λ_j,max表示V_tr中第j行的最大元素值，V_trj,p表示V_tr的第j行第p列元素；

用λ_j,max對特征矩陣V_tr的第j行作歸一化處理，即

其中，表示歸一化的特征矩陣V_tr的第j行第p列元素；

依據每一維特征的最大元素值，同樣對測試樣本的特征矩陣V_te的每一維特征作歸一化處理，得到表示歸一化的V_tej,q，V_tej,q表示V_te的第j行第q列元素；