[發(fā)明專利]情緒識別方法、裝置、設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201810694899.X
• 申請日: 2018-06-29
• 公開（公告）號: CN108985358B
• 公開（公告）日: 2021-03-02
• 發(fā)明（設(shè)計(jì)）人: 林英展;陳炳金;梁一川;凌光;周超
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F40/30;G10L25/63
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發(fā)明實(shí)施例公開了一種情緒識別方法、裝置、設(shè)備及存儲介質(zhì)。其中，該方法包括：確定多模態(tài)會話信息的融合會話特征；將所述多模態(tài)會話信息的融合會話特征輸入預(yù)先構(gòu)建的多模態(tài)情緒識別模型中，得到所述多模態(tài)會話信息的情緒特征。本發(fā)明實(shí)施例提供的技術(shù)方案，通過將多模態(tài)會話信息中每個模態(tài)的會話特征融合得到融合會話特征，并將該融合會話特征輸入到一個統(tǒng)一的多模態(tài)情緒識別模型中，供模型訓(xùn)練，就可直接預(yù)測出最終的情緒結(jié)果，無需分別訓(xùn)練各模態(tài)的識別模型，并進(jìn)行不同模型結(jié)果的融合。簡化了樣本訓(xùn)練過程，且提高了情緒識別結(jié)果的準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種情緒識別方法、裝置、設(shè)備及存儲介質(zhì)。

背景技術(shù)

隨著人工智能的發(fā)展，智能交互在越來越多的領(lǐng)域中發(fā)揮著越來越重要的作用。而智能交互中，一個重要的方向，就是如何識別多模態(tài)交互過程中用戶當(dāng)前的情緒狀態(tài)，從而為整個智能交互系統(tǒng)提供情緒層面的反饋，及時作出調(diào)整，以便應(yīng)對不同情緒狀態(tài)下的用戶，提升整個交互過程的服務(wù)質(zhì)量。

目前，主要情緒識別方法如圖1所示，整個過程如下：通過對語音，文本及表情圖像等各個模態(tài)進(jìn)行獨(dú)立建模，并在最后將每個模型的結(jié)果融合在一起，根據(jù)規(guī)則或者機(jī)器學(xué)習(xí)模型，對多個模態(tài)的結(jié)果進(jìn)行融合判定，最終輸出一個整體的多模態(tài)情緒識別結(jié)果。

由于同一詞語在不同場景下含義不同，表示的情緒狀態(tài)不同，而上述方法通用性較差；此外，還需要依賴于人力操作采集大量數(shù)據(jù)，成本較高且結(jié)果可控性較差。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種情緒識別方法、裝置、設(shè)備和存儲介質(zhì)，簡化了樣本訓(xùn)練過程，且提高了情緒識別結(jié)果的準(zhǔn)確性。

第一方面，本發(fā)明實(shí)施例提供了一種情緒識別方法，該方法包括：

確定多模態(tài)會話信息的融合會話特征；

將所述多模態(tài)會話信息的融合會話特征輸入預(yù)先構(gòu)建的多模態(tài)情緒識別模型中，得到所述多模態(tài)會話信息的情緒特征。第二方面，本發(fā)明實(shí)施例還提供了一種情緒識別裝置，該裝置包括：

融合特征確定模塊，用于確定多模態(tài)會話信息的融合會話特征；

情緒特征確定模塊，用于將所述多模態(tài)會話信息的融合會話特征輸入預(yù)先構(gòu)建的多模態(tài)情緒識別模型中，得到所述多模態(tài)會話信息的情緒特征。

第三方面，本發(fā)明實(shí)施例還提供了一種設(shè)備，該設(shè)備包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序；

當(dāng)所述一個或多個程序被所述一個或多個處理器執(zhí)行，使得所述一個或多個處理器實(shí)現(xiàn)第一方面中任意所述的情緒識別方法。

第四方面，本發(fā)明實(shí)施例還提供了一種存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時實(shí)現(xiàn)第一方面中任意所述的情緒識別方法。

本發(fā)明實(shí)施例提供的技術(shù)方案，通過將多模態(tài)會話信息中每個模態(tài)的會話特征融合得到融合會話特征，并將該融合會話特征輸入到一個統(tǒng)一的多模態(tài)情緒識別模型中，供模型訓(xùn)練，就可直接預(yù)測出最終的情緒結(jié)果，無需分別訓(xùn)練各模態(tài)的識別模型，并進(jìn)行不同模型結(jié)果的融合。簡化了樣本訓(xùn)練過程，且提高了情緒識別結(jié)果的準(zhǔn)確性。

附圖說明

圖1是現(xiàn)有技術(shù)提供的一種基于獨(dú)立模態(tài)訓(xùn)練的多模態(tài)情感識別示意圖；

圖2A是本發(fā)明實(shí)施例一中提供的一種情緒識別方法的流程圖；

圖2B是本發(fā)明實(shí)施所適用的基于多模態(tài)特征融合學(xué)習(xí)模型示意圖；

圖3是本發(fā)明實(shí)施例二中提供的一種情緒識別方法的流程圖；

圖4是本發(fā)明實(shí)施例三中提供的一種情緒識別裝置的結(jié)構(gòu)框圖；