[發明專利]情緒識別方法、裝置及機器人

有效

• 申請號: 202210328824.6
• 申請日: 2022-03-31
• 公開（公告）號: CN114420169B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 代勤;趙超;薛東偉;胡明櫆
• 申請（專利權）人: 北京沃豐時代數據科技有限公司
• 主分類號: G10L25/63
• 分類號: G10L25/63;G06V40/16;G06V10/774;G06V10/80;G06K9/62
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 聶俊偉

本發明提供一種情緒識別方法、裝置及機器人，所述方法包括：獲取當前對話語句的第一音頻特征向量，將第一音頻特征向量輸入至音頻識別子模型確定第一音頻嵌入向量；獲取當前對話語句的第一詞向量，將第一詞向量輸入至文字識別子模型，確定第一詞嵌入向量；融合第一音頻嵌入向量和第一詞嵌入向量，生成第一融合特征向量；基于第一融合特征向量，確定用戶的當前情緒識別結果。本發明提出了一種結合人機對話相關的語音和文字相關的音頻特征以及詞向量特征，進行用戶情緒分類識別，克服了單一的基于語音或人臉圖像進行情緒分類識別存在的信息損失的弊端，能夠顯著地提升情緒分類識別的精度。

技術領域

本發明涉及人工智能技術領域，尤其涉及一種情緒識別方法、裝置及機器人。

背景技術

在隨著人工智能產品在生活中的運用率越來越高，語音技術包括語音識別、語音合成、聲紋技術等，作為人機自然交互的基本途徑，在智能家居、智能汽車、智能客服等場景下都已有了比較廣闊的應用，并且目前這些技術在通用場景已達到比較高的實用效果。

在智能機器人的實際應用中，要想使機器人像人一樣能聽懂、能理解、能溝通，除了聽懂文字內容以外，獲取用戶對話時所包含的情緒信息也同樣重要。在人機對話過程中，機器人充分利用語音所包含的用戶情緒信息，能夠使人機溝通更加自然，使機器可以像人一樣思考，以根據不同情緒給出不同的話術，使機器人建立起更加智能、立體的形象。

當前情緒識別的技術路線通常是從語音中提取基頻、梅爾倒譜系數特征（Mel-scale FrequencyCepstral Coefficients，MFCC）、濾波器組特征（Filter Banks，FBANK）等語音特征；基于長短期記憶網絡（Long Short-Term Memory，LSTM）、卷積神經網絡(Convolutional Neural Network，CNN)、注意機制（Attention）等深度學習方案，構建情緒分類模型；最后，利用情緒分類模型對語音特征進行識別。或者，簡在獲取用戶在人機對話時的面部圖像之后，簡單地利用預先構建的情緒分類模型對面部圖像進行特征提取，以對用戶在人機對話時的情緒進行分類。

現有的單一地基于語音或圖像的情緒識別方法，都不可避免地存在一定的信息損失，導致最終獲取到的情緒識別結果不準確。

發明內容

本發明提供一種情緒識別方法、裝置及機器人，用以解決現有技術中單一地基于語音或圖像的情緒識別方法，所存在的識別精度差的缺陷，實現人機對話時用戶情緒的精準識別。

第一方面，本發明提供一種情緒識別方法，包括：

獲取當前對話語句相關的第一音頻特征向量，將所述第一音頻特征向量輸入至音頻識別子模型，以根據所述音頻識別子模型的輸出，確定第一音頻嵌入向量；

獲取所述當前對話語句相關的第一詞向量，將所述第一詞向量輸入至文字識別子模型，以根據所述文字識別子模型的輸出，確定第一詞嵌入向量；

融合所述第一音頻嵌入向量和所述第一詞嵌入向量，生成第一融合特征向量；

基于所述第一融合特征向量，確定用戶的當前情緒識別結果。

根據本發明提供的一種情緒識別方法，在融合所述第一音頻嵌入向量和所述第一詞嵌入向量，生成第一融合特征向量之前，還包括：

獲取在采集所述當前對話語句時用戶的第一面部圖像，將所述第一面部圖像輸入至圖像識別子模型，以根據所述圖像識別子模型的輸出，確定第一圖像嵌入向量；

融合所述第一音頻嵌入向量、所述第一詞嵌入向量和所述第一圖像嵌入向量，生成第二融合特征向量；

基于所述第二融合特征向量，確定所述用戶的當前情緒識別結果。

根據本發明提供的一種情緒識別方法，在將所述第一音頻特征向量輸入至音頻識別子模型之前，還包括：