[發(fā)明專利]一種多模態(tài)情感識(shí)別方法和裝置

在審

• 申請?zhí)枺?/td>: 201911415527.X
• 申請日: 2019-12-31
• 公開（公告）號(hào): CN113128284A
• 公開（公告）日: 2021-07-16
• 發(fā)明（設(shè)計(jì)）人: 胡志飛;李慶洋;王冰玉;宮保偉;田敏杰
• 申請（專利權(quán)）人: 上海汽車集團(tuán)股份有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 北京信遠(yuǎn)達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11304
• 代理人: 姚瑩麗

本申請實(shí)施例提供了一種多模態(tài)情感識(shí)別方法及裝置，該方法利用目標(biāo)對象的多模態(tài)數(shù)據(jù)，進(jìn)行特征提取以及融合分類操作，得到融合識(shí)別結(jié)果，并根據(jù)該融合識(shí)別結(jié)果確定出目標(biāo)對象的情感狀態(tài)。具體的，獲取目標(biāo)對象的多模態(tài)數(shù)據(jù)；利用預(yù)訓(xùn)練的多模態(tài)情感識(shí)別模型對所述多模態(tài)數(shù)據(jù)進(jìn)行特征提取，得到多模態(tài)特征；基于所述多模態(tài)特征，進(jìn)行融合分類操作，得到融合識(shí)別結(jié)果；根據(jù)所述融合識(shí)別結(jié)果，確定所述目標(biāo)對象的情感狀態(tài)。由于目標(biāo)對象的情感狀態(tài)可以通過多種不同模態(tài)的數(shù)據(jù)體現(xiàn)，因此融合目標(biāo)對象的多種模態(tài)數(shù)據(jù)中的情感信息，對目標(biāo)對象的情感狀態(tài)進(jìn)行檢測，能夠得到更準(zhǔn)確的情感識(shí)別結(jié)果。

技術(shù)領(lǐng)域

本申請涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種多模態(tài)情感識(shí)別方法和裝置。

背景技術(shù)

情感識(shí)別一直是模式識(shí)別領(lǐng)域的熱門話題，它有利于人們的社會(huì)溝通和活動(dòng)。在人們的生活和交往的過程中，包含各種表達(dá)內(nèi)心情感的方式，然而面部表情是其中最直接、最容易和最具表現(xiàn)力的方式并且容易被研究者們獲取。目前針對表情的單模態(tài)的情感識(shí)別技術(shù)已經(jīng)相對成熟，但因其信息的單一性使得識(shí)別效果往往不夠可靠精確。鑒于此，如何獲得更加可靠穩(wěn)定的情感識(shí)別結(jié)果值得進(jìn)一步研究。

發(fā)明內(nèi)容

本申請實(shí)施例提供了一種多模態(tài)情感識(shí)別方法及裝置，能夠結(jié)合多模態(tài)數(shù)據(jù)對目標(biāo)對象進(jìn)行情感識(shí)別，提高準(zhǔn)確性。

有鑒于此，本申請實(shí)施例一方面提供了一種多模態(tài)情感識(shí)別方法，所述方法包括：

獲取目標(biāo)對象的多模態(tài)數(shù)據(jù)；

利用預(yù)訓(xùn)練的多模態(tài)特征提取模型對所述多模態(tài)數(shù)據(jù)進(jìn)行特征提取，得到多模態(tài)特征；

基于所述多模態(tài)特征，進(jìn)行融合分類操作，得到融合識(shí)別結(jié)果；

根據(jù)所述融合識(shí)別結(jié)果，確定所述目標(biāo)對象的情感狀態(tài)。

可選的，所述基于所述多模態(tài)特征，進(jìn)行融合分類操作，得到融合識(shí)別結(jié)果包括：基于所述多模態(tài)特征，對所述多模態(tài)特征分別進(jìn)行分類，得到多模態(tài)情感識(shí)別結(jié)果；

對所述多模態(tài)情感識(shí)別結(jié)果進(jìn)行融合，得到所述融合識(shí)別結(jié)果。

可選的，所述基于所述多模態(tài)特征，進(jìn)行融合分類操作，得到融合識(shí)別結(jié)果包括：

基于所述多模態(tài)特征，對所述多模態(tài)特征中進(jìn)行融合，將得到的融合特征進(jìn)行分類，得到所述融合識(shí)別結(jié)果。

可選的，所述方法還包括：

獲取多個(gè)不同檢測對象對應(yīng)的多組多模態(tài)檢測數(shù)據(jù)；

根據(jù)所述多組多模態(tài)檢測數(shù)據(jù)對預(yù)構(gòu)建的多模態(tài)特征提取模型進(jìn)行訓(xùn)練，直到所述多模態(tài)特征提取模型處于收斂狀態(tài)。

可選的，所述方法還包括：

獲取所述目標(biāo)對象的音頻數(shù)據(jù)和視頻數(shù)據(jù)；

則所述獲取目標(biāo)對象的多模態(tài)數(shù)據(jù)包括：

對所述音頻數(shù)據(jù)進(jìn)行語音識(shí)別，獲取語音數(shù)據(jù)和文本數(shù)據(jù)；

對所述視頻數(shù)據(jù)進(jìn)行圖像預(yù)處理，獲取圖像數(shù)據(jù)；

將所述語音數(shù)據(jù)、所述文本數(shù)據(jù)和所述圖像數(shù)據(jù)作為所述多模態(tài)數(shù)據(jù)。

可選的，所述方法還包括：

對所述目標(biāo)對象的情感狀態(tài)進(jìn)行提示。

本申請實(shí)施例另一方面提供了一種多模態(tài)情感識(shí)別裝置，所述裝置包括獲取單元、特征提取單元、融合單元和確定單元：

所述獲取單元，用于獲取目標(biāo)對象的多模態(tài)數(shù)據(jù)；

所述特征提取單元，用于利用預(yù)訓(xùn)練的多模態(tài)特征提取模型對所述多模態(tài)數(shù)據(jù)進(jìn)行特征提取，得到多模態(tài)特征；