[發(fā)明專利]多模態(tài)連續(xù)情感識別方法、服務(wù)推理方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110361649.6
• 申請日: 2021-04-02
• 公開（公告）號: CN113033450B
• 公開（公告）日: 2022-06-24
• 發(fā)明（設(shè)計）人: 路飛;張龍
• 申請（專利權(quán)）人: 山東大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08;G06N5/04;G06N7/00;G10L25/24;G10L25/30;G10L25/63
• 代理公司: 濟南圣達知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 閆偉姣

本發(fā)明公開了本發(fā)明提供了一種多模態(tài)連續(xù)情感識別方法、服務(wù)推理方法及系統(tǒng)。所述方法包括：獲取包含用戶面部表情和語音的視頻數(shù)據(jù)；對于視頻圖像序列，提取人臉圖像，對人臉圖像進行特征提取，得到表情情感特征；根據(jù)表情情感特征進行連續(xù)情感識別；對于語音數(shù)據(jù)，獲取語音情感特征；根據(jù)語音情感特征，進行連續(xù)情感識別，將表情情感識別結(jié)果和語音情感識別結(jié)果相融合，克服了單模態(tài)在連續(xù)情感識別存在的缺點，提升了情感識別精度；在此基礎(chǔ)上，基于多實體貝葉斯網(wǎng)絡(luò)模型進行服務(wù)推理，使得服務(wù)機器人能夠針對用戶情緒對服務(wù)動態(tài)的做出調(diào)整。

技術(shù)領(lǐng)域

本發(fā)明屬于服務(wù)機器人技術(shù)領(lǐng)域，尤其涉及一種多模態(tài)連續(xù)情感識別方法、服務(wù)推理方法及系統(tǒng)。

背景技術(shù)

本部分的陳述僅僅是提供了與本公開相關(guān)的背景技術(shù)信息，不必然構(gòu)成在先技術(shù)。

隨著服務(wù)機器人在家庭情景中擔任重要的角色，自然的人機交互成為影響用戶滿意度和人機共存舒適度的關(guān)鍵因素之一。家庭服務(wù)機器人的目標就是對用戶情感具有認知能力，并根據(jù)用戶情感狀態(tài)提供高質(zhì)量的服務(wù)。

據(jù)發(fā)明人了解，目前針對人類情感的識別主要為離散情感模型，但由于人類情感的表達是一個復雜連續(xù)的過程，離散情感模型難以充分表達用戶的情感狀態(tài)，因此實現(xiàn)用戶連續(xù)情感狀態(tài)識別十分比必要，同時因為連續(xù)情感狀態(tài)標定復雜導致數(shù)據(jù)集稀少，且單模態(tài)的連續(xù)情感識別存在識別精度低、魯棒性差的缺點，所以為了進一步降低數(shù)據(jù)集稀少帶來的影響、提升情感識別的準確性、增強識別系統(tǒng)的魯棒性，需要探索各模態(tài)之間的互補性，實現(xiàn)多模態(tài)融合的情感識別，從而提升最終的情感識別質(zhì)量。

家庭服務(wù)機器人的服務(wù)目標是人，目前服務(wù)機器人所提供的服務(wù)很少考慮到用戶當前的情感狀態(tài)，且推理規(guī)則為硬推理，沒有考慮到家庭環(huán)境是動態(tài)變化的，充斥著各種不確定性因素，所推理的服務(wù)結(jié)果不能很好的服務(wù)于用戶，不能體現(xiàn)服務(wù)機器人的智能化。

發(fā)明內(nèi)容

為克服上述現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種多模態(tài)連續(xù)情感識別方法、服務(wù)推理方法及系統(tǒng)。采用表情和語音多模態(tài)情感識別結(jié)果相融合的方式，克服了單模態(tài)在連續(xù)情感識別存在的缺點，提升了情感識別精度，在此基礎(chǔ)上基于多實體貝葉斯網(wǎng)絡(luò)模型進行服務(wù)推理，使得服務(wù)機器人能夠針對用戶情緒對服務(wù)動態(tài)的做出調(diào)整。

為實現(xiàn)上述目的，本發(fā)明的一個或多個實施例提供了如下技術(shù)方案：

一種基于表情和語音的多模態(tài)連續(xù)情感識別方法，包括以下步驟：

獲取包含用戶面部表情和語音的視頻數(shù)據(jù)；

對于視頻圖像序列，提取人臉圖像，對人臉圖像進行特征提取，得到表情情感特征；

根據(jù)表情情感特征，基于預訓練的深度學習模型進行連續(xù)情感識別；

對于語音數(shù)據(jù)，利用梅爾頻率倒譜系數(shù)獲取語音情感特征；

根據(jù)語音情感特征，基于預訓練的遷移學習網(wǎng)絡(luò)進行連續(xù)情感識別；

將表情情感識別結(jié)果和語音情感識別結(jié)果相融合，得到最終識別結(jié)果。

進一步地，采用Gabor小波變換對人臉圖像進行特征提取，得到表情情感特征。

進一步地，提取人臉圖像包括：

采用預訓練的神經(jīng)網(wǎng)絡(luò)模型對視頻圖像序列進行人臉識別，同時識別異常視頻幀，將異常幀丟棄；其中，所述神經(jīng)網(wǎng)絡(luò)模型級聯(lián)三個不同深度的卷積神經(jīng)網(wǎng)絡(luò)。

進一步地，對于語音數(shù)據(jù)還進行預處理：

利用一階非遞歸型的高通濾波器對語音數(shù)據(jù)進行處理；

對語音數(shù)據(jù)進行分幀處理，并通過添加漢明窗實現(xiàn)相鄰兩幀之間的平滑過渡。