[發明專利]一種面向開放環境的多模態情感識別方法及裝置

有效

• 申請號: 202010196113.9
• 申請日: 2020-03-19
• 公開（公告）號: CN111401268B
• 公開（公告）日: 2022-11-15
• 發明（設計）人: 房建東;崔明明
• 申請（專利權）人: 內蒙古工業大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/82;G06N3/04
• 代理公司: 北京金信知識產權代理有限公司 11225
• 代理人: 郭瑩

1.一種面向開放環境的多模態情感識別方法，其特征在于，所述方法包括，

獲取目標對象的人臉表情序列；基于所述人臉表情序列得到第一置信結果；其中，包括，

使用第一算法提取所述人臉表情序列的特征，得到第一序列；

使用第二算法提取所述第一序列的特征，得到第二序列；

將第二序列中的最后一個元素送入分類器中進行分類，得到關于情感的第一置信結果；

獲取目標對象的語譜圖序列，基于所述語譜圖序列得到第二置信結果；其中，包括，使用第一算法提取所述語譜圖序列的特征，得到第三序列；

使用第二算法提取所述第三序列的特征，得到第四序列；

將第四序列中的最后一個元素送入分類器中進行分類，得到關于情感的第二置信結果；

獲取目標對象的姿態序列，基于所述姿態序列得到第三置信結果；其中，包括，

基于所述姿態序列得到簡化線圖序列；

使用第一算法提取所述簡化線圖序列的特征，得到第五序列；

使用第二算法提取所述第五序列的特征，得到第六序列；

將第六序列中的最后一個元素送入分類器中進行分類，得到關于情感的第三置信結果；

其中，使用所述第二算法提取時，能夠從輸入序列中獲取時間上的關聯性；

將第一置信結果、第二置信結果和第三置信結果進行融合，得到第四置信結果；

基于所述第四置信結果識別出所述目標對象的情感；

其中，所述人臉表情序列、語譜圖序列和姿態序列同在第一時間段內獲取得到。

2.根據權利要求1所述的方法，其特征在于，所述基于所述姿態序列得到第三置信結果，包括，

基于所述姿態序列中的一張姿態圖像得到簡化線圖像；

使用第一算法提取所述簡化線圖像的特征，得到第一特征；

將第一特征送入分類器中進行分類，得到關于情感的第三置信結果。

3.根據權利要求1所述的方法，其特征在于，所述獲取目標對象的人臉表情序列，包括，

從視頻文件中讀取若干幀人臉表情圖像；

所述若干幀人臉表情圖像形成所述人臉表情序列。

4.根據權利要求1所述的方法，其特征在于，所述獲取目標對象的語譜圖序列，包括，

對音頻文件進行加窗分幀，形成若干幀子音頻文件；

基于所述若干幀子音頻文件生成若干張語譜圖；

所述若干張語譜圖形成所述語譜圖序列。

5.根據權利要求1所述的方法，其特征在于，所述獲取目標對象的姿態序列，包括，

從視頻文件中讀取若干幀姿態圖像；

所述若干幀姿態圖像形成所述姿態序列。

6.根據權利要求1所述的方法，其特征在于，所述將第一置信結果、第二置信結果和第三置信結果進行融合，包括，

在決策層使用D-S證據理論融合方法將第一置信結果、第二置信結果和第三置信結果進行融合。

7.一種面向開放環境的多模態情感識別裝置，其特征在于，所述裝置至少包括存儲器、處理器，所述存儲器上存儲有計算機程序，所述處理器執行如下步驟：

獲取目標對象的人臉表情序列；基于所述人臉表情序列得到第一置信結果；其中，包括，

使用第一算法提取所述人臉表情序列的特征，得到第一序列；

使用第二算法提取所述第一序列的特征，得到第二序列；

將第二序列中的最后一個元素送入分類器中進行分類，得到關于情感的第一置信結果；

獲取目標對象的語譜圖序列，基于所述語譜圖序列得到第二置信結果；其中，包括，使用第一算法提取所述語譜圖序列的特征，得到第三序列；

使用第二算法提取所述第三序列的特征，得到第四序列；

將第四序列中的最后一個元素送入分類器中進行分類，得到關于情感的第二置信結果；

獲取目標對象的姿態序列，基于所述姿態序列得到第三置信結果；其中，包括，

基于所述姿態序列得到簡化線圖序列；

使用第一算法提取所述簡化線圖序列的特征，得到第五序列；

使用第二算法提取所述第五序列的特征，得到第六序列；

將第六序列中的最后一個元素送入分類器中進行分類，得到關于情感的第三置信結果；

其中，使用所述第二算法提取時，能夠從輸入序列中獲取時間上的關聯性；

將第一置信結果、第二置信結果和第三置信結果進行融合，得到第四置信結果；

基于所述第四置信結果識別出所述目標對象的情感；

其中，所述人臉表情序列、語譜圖序列和姿態序列同在第一時間段內獲取得到。