[發明專利]一種情緒識別方法、裝置、計算機可讀存儲介質及設備

有效

• 申請號: 202110952147.0
• 申請日: 2021-08-19
• 公開（公告）號: CN113408503B
• 公開（公告）日: 2021-12-21
• 發明（設計）人: 姚娟娟;鐘南山
• 申請（專利權）人: 明品云（北京）數據科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 上海漢之律師事務所 31378
• 代理人: 馮華

本發明公開了一種情緒識別方法、裝置、計算機可讀存儲介質及設備，所述方法包括：獲取目標對象的語音特征、表情特征和生物特征；通過預先訓練完成的第一情緒識別模型對所述語音特征進行情緒識別，得到第一情緒識別結果；通過預先訓練完成的第二情緒識別模型對所述表情特征進行情緒識別，得到第二情緒識別結果；通過預先訓練完成的第三情緒識別模型對所述生物特征進行情緒識別，得到第三情緒識別結果；利用預先構建的融合模型將所述第一情緒識別結果、第一情緒識別結果、第三情緒識別結果進行融合，得到融合值；根據所述融合值識別出所述目標對象的情緒。本發明通過融合語音特征、表情特征、生物特征，征彌補了單一特征的不足。

技術領域

本發明涉及人工智能領域，具體涉及一種情緒識別方法、裝置、計算機可讀存儲介質及設備。

背景技術

隨著計算機技術和人工智能技術及其相關學科的迅猛發展，整個社會的自動化程度不斷提高，人們對類似于人和人交流方式的人機交互的需求日益強烈。人臉表情是最直接、最有效的情緒識別模式。它有很多人機交互方面的應用。計算機和機器人如查能夠像人類那樣具有理解和表達情感的能力，將從根本上改變人與計算機之間的關系，使計算機能夠更好地為人類服務。情緒識別是情感理解的基礎，是計算機理解人們情感的前提，也是人們探索和理解智能的有效途徑。

現有技術中包括諸多情緒提取方法，多通過采集面部或語音信息識別用戶情緒。然而，采用單種特征進行情緒識別，其準確度較低。因此，現有技術存在諸多缺陷，需要改進。

發明內容

鑒于以上所述現有技術的缺點，本發明的目的在于提供一種情緒識別方法、裝置、計算機可讀存儲介質及設備，用于解決現有技術存在的問題。

為實現上述目的及其他相關目的，本發明提供一種情緒識別方法，包括：

獲取目標對象的語音特征、表情特征和生物特征；

通過預先訓練完成的第一情緒識別模型對所述語音特征進行情緒識別，得到第一情緒識別結果；

通過預先訓練完成的第二情緒識別模型對所述表情特征進行情緒識別，得到第二情緒識別結果；

通過預先訓練完成的第三情緒識別模型對所述生物特征進行情緒識別，得到第三情緒識別結果；

利用預先構建的融合模型將所述第一情緒識別結果、第一情緒識別結果、第三情緒識別結果進行融合，得到融合值；

根據所述融合值識別出所述目標對象的情緒。

可選地，所述語音特征包括動作特征和韻律學特征。

可選地，還包括：對所述韻律學特征進行增強。

可選地，所述對所述韻律學特征進行增強，包括：

基于所述目標對象的韻律學特征，以第n幀韻律學特征和以第n幀韻律學特征為中心的相鄰多幀韻律學特征構成輸入韻律學特征序列；

對所述輸入韻律學特征序列進行編碼，得到編碼特征序列；

對所述編碼特征序列進行解碼，得到所述輸入韻律學特征序列對應的增強韻律學特征序列。

可選地，在對所述輸入韻律學特征序列進行編碼時，通過在所述相鄰多幀韻律學特征上施加多頭自注意力運算。

可選地，在通過預先訓練完成的第一情緒識別模型對所述語音特征進行情緒識別前，還包括：對所述動作特征和所述韻律學特征進行特征融合，得到融合特征。

可選地，獲取所述目標對象的表情特征包括：

獲取人臉圖片；

通過第一神經網絡從所述人臉圖片中提取出單人表情特征；