[發明專利]一種多模態情感識別方法、裝置、電子設備及存儲介質

有效

• 申請號: 202110486305.8
• 申請日: 2021-04-30
• 公開（公告）號: CN113111855B
• 公開（公告）日: 2023-08-29
• 發明（設計）人: 羅紅;田瑞濛;孫巖
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V20/40;G06V10/74;G06V10/764;G06V10/774;G06V10/80
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 丁蕓;趙元

1.一種多模態情感識別方法，其特征在于，所述方法包括：

提取待識別視頻中目標待識別人物的第一特征信息，其中，所述待識別視頻為包含至少一個待識別人物的視頻，所述第一特征信息為多種特征信息，每個待識別人物均具有多種特征信息；

基于所述第一特征信息，從預先得到的多組個性化差異消除參數中，選擇目標個性化差異消除參數，其中，視頻樣本集中每個包含同一樣本人物的第一視頻樣本子集，對應一組個性化差異消除參數，每組個性化差異消除參數，是根據對應的第一視頻樣本子集的第二特征信息、該第一視頻樣本子集中各個視頻樣本的中性情感標簽和非中性情感標簽得到的，每個視頻樣本具有一種情感標簽，所述第二特征信息的種類與所述第一特征信息的種類相同；

基于所述目標個性化差異消除參數，對所述第一特征信息進行個性化差異消除，得到消除個性化差異后的第一特征信息；

將所述消除個性化差異后的第一特征信息，輸入至預先訓練得到的情感識別模型中，得到所述待識別視頻的情感識別結果；

其中，所述每組個性化差異消除參數，是通過以下方式得到的：

提取所述視頻樣本集中每個視頻樣本的第二特征信息；

確定所述視頻樣本集中第N-1次迭代得到的標記有中性情感標簽的視頻樣本的第二特征信息的第一平均值，和所述視頻樣本集的第一視頻樣本子集中第N-1次迭代得到的標記有中性情感標簽的視頻樣本的第二特征信息的第二平均值，其中，N大于或等于2，第1次迭代時所述視頻樣本集中的各個視頻樣本的情感標簽均為預先標記的；

基于所述第一平均值和所述第二平均值，確定第N-1次迭代得到的所述第一視頻樣本子集的待定個性化差異消除參數；

基于所述第N-1次迭代得到的第一視頻樣本子集的待定個性化差異消除參數，對所述第一視頻樣本子集中的視頻樣本的第二特征信息進行個性化差異消除，得到第N-1次迭代時所述第一視頻樣本子集對應的消除個性化差異后的第二特征信息；

基于所述第N-1次迭代時所述第一視頻樣本子集對應的消除個性化差異后的第二特征信息，對所述第一視頻樣本子集中的視頻樣本進行二分類，得到第一視頻樣本子集中第N次迭代時標記有中性情感標簽的視頻樣本和標記有非中性情感標簽的視頻樣本；

確定所述第一視頻樣本子集中第N次迭代時標記有中性情感標簽的視頻樣本的第二特征信息的第三平均值和所述視頻樣本集中第N次迭代得到的標記有中性情感標簽的視頻樣本的第二特征信息的第四平均值；

基于所述第三平均值和所述第四平均值，確定第N次迭代得到的所述第一視頻樣本子集的待定個性化差異消除參數；

基于所述第一視頻樣本子集中第N次迭代時標記有中性情感標簽的視頻樣本、第N次迭代時標記有非中性情感標簽的視頻樣本、第N-1次迭代得到的標記有中性情感標簽的視頻樣本以及第N-1次迭代得到的標記有非中性情感標簽的視頻樣本，確定所述第一視頻樣本子集的標簽改變率；

在所述第一視頻樣本子集的標簽改變率小于或等于預設改變率閾值時，將所述第N次迭代得到的所述第一視頻樣本子集的待定個性化差異消除參數，確定為所述第一視頻樣本子集的個性化差異消除參數；

否則，將所述第N次迭代得到的所述第一視頻樣本子集的待定個性化差異消除參數，作為所述第N-1次迭代得到的所述第一視頻樣本子集的待定個性化差異消除參數，并執行所述基于所述第N-1次迭代得到的第一視頻樣本子集的待定個性化差異消除參數，對所述第一視頻樣本子集中的視頻樣本的第二特征信息進行個性化差異消除，得到第N-1次迭代時所述第一視頻樣本子集對應的消除個性化差異后的第二特征信息的步驟；

所述預先訓練得到的情感識別模型是通過以下步驟得到的：

獲取所述視頻樣本集中每個第一視頻樣本子集的個性化差異消除參數和該第一視頻樣本子集的第二特征信息；

針對每個第一視頻樣本子集，基于第一視頻樣本子集的個性化差異消除參數和該第一視頻樣本子集的第二特征信息，確定該第一視頻樣本子集的消除個性化差異后的第二特征信息，

基于所有第一視頻樣本子集的消除個性化差異后的第二特征信息和對應的第二情感標簽，對預設的情感識別模型進行訓練，得到所述預先訓練得到的情感識別模型。