[發明專利]一種多模態情感識別方法和裝置

在審

• 申請號: 201911415527.X
• 申請日: 2019-12-31
• 公開（公告）號: CN113128284A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 胡志飛;李慶洋;王冰玉;宮保偉;田敏杰
• 申請（專利權）人: 上海汽車集團股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京信遠達知識產權代理有限公司 11304
• 代理人: 姚瑩麗

1.一種多模態情感識別方法，其特征在于，所述方法包括：

獲取目標對象的多模態數據；

利用預訓練的多模態特征提取模型對所述多模態數據進行特征提取，得到多模態特征；

基于所述多模態特征，進行融合分類操作，得到融合識別結果；

根據所述融合識別結果，確定所述目標對象的情感狀態。

2.根據權利要求1所述的方法，其特征在于，所述基于所述多模態特征，進行融合分類操作，得到融合識別結果包括：

基于所述多模態特征，對所述多模態特征分別進行分類，得到多模態情感識別結果；

對所述多模態情感識別結果進行融合，得到所述融合識別結果。

3.根據權利要求1所述的方法，其特征在于，所述基于所述多模態特征，進行融合分類操作，得到融合識別結果包括：

基于所述多模態特征，對所述多模態特征中進行融合，將得到的融合特征進行分類，得到所述融合識別結果。

4.根據權利要求1所述的方法，其特征在于，所述方法還包括：

獲取多個不同檢測對象對應的多組多模態檢測數據；

根據所述多組多模態檢測數據對預構建的多模態特征提取模型進行訓練，直到所述多模態特征提取模型處于收斂狀態。

5.根據權利要求1所述的方法，其特征在于，所述方法還包括：獲取所述目標對象的音頻數據和視頻數據；

則所述獲取目標對象的多模態數據包括：

對所述音頻數據進行語音識別，獲取語音數據和文本數據；

對所述視頻數據進行圖像預處理，獲取圖像數據；

將所述語音數據、所述文本數據和所述圖像數據作為所述多模態數據。

6.根據權利要求1所述的方法，其特征在于，所述方法還包括：

對所述目標對象的情感狀態進行提示。

7.一種多模態情感識別裝置，其特征在于，所述裝置包括獲取單元、特征提取單元、融合單元和確定單元：

所述獲取單元，用于獲取目標對象的多模態數據；

所述特征提取單元，用于利用預訓練的多模態特征提取模型對所述多模態數據進行特征提取，得到多模態特征；

所述融合單元，用于基于所述多模態特征，進行融合分類操作，得到融合識別結果；

所述確定單元，用于根據所述融合識別結果，確定所述目標對象的情感狀態。

8.根據權利要求7所述的裝置，其特征在于，所述融合單元，還用于：

基于所述多模態特征，對所述多模態特征分別進行分類，得到多模態情感識別結果；

對所述多模態情感識別結果進行融合，得到所述融合識別結果。

9.根據權利要求7所述的裝置，其特征在于，所述融合單元，還用于：

基于所述多模態特征，對所述多模態特征中進行融合，將得到的融合特征進行分類，得到所述融合識別結果。

10.根據權利要求7所述的裝置，其特征在于，所述裝置還包括訓練單元：

所述獲取單元，還用于獲取多個不同檢測對象對應的多組多模態檢測數據；

所述訓練單元，還用于根據所述多組多模態檢測數據對預構建的多模態特征提取模型進行訓練，直到所述多模態特征提取模型處于收斂狀態。