[發明專利]基于多模態的情緒識別方法

有效

• 申請號: 201810613472.2
• 申請日: 2018-06-14
• 公開（公告）號: CN108805089B
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 俞旸;凌志輝
• 申請（專利權）人: 南京云思創智信息科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/00;G06F40/30;G06F40/205;G06F40/289;G10L25/63;G10L25/30;G06N3/04
• 代理公司: 南京知識律師事務所 32207
• 代理人: 張蘇沛

本發明的基于多模態的情緒識別方法，包括數據采集設備、輸出設備、情緒分析軟件系統，情緒分析軟件系統通過對數據采集設備得到的數據進行綜合分析推理，最終把結果輸出至輸出設備上；具體步驟為：基于面部圖像表情情緒識別步驟、基于語音信號情緒識別步驟、基于文本語義情感分析步驟、基于人體姿態情緒識別步驟、基于生理信號情緒識別步驟，以及基于多輪對話語義理解步驟和基于時序多模態情緒語義融合關聯判斷步驟。本發明突破性的打通了五大單模態的情緒識別，創新性的利用深度神經網絡將多個單模態的信息由神經網絡編碼、深度的關聯和理解后進行綜合判斷，大幅度的提高了準確率，適用于絕大多數一般問詢互動類應用場景。

技術領域

本發明涉及情緒設別技術領域，具體而言，尤其涉及機器學習、深度學習、計算機視覺、自然語言處理、語音識別、人體動作識別、非接觸式生理檢測等基于多模態的情緒識別方法。

背景技術

情緒識別，是一種判斷人的情緒變化的技術，主要是通過收集人的外在表情和行為變化，對人的心理狀態進行推斷。在現代社會，情緒識別技術以及被廣泛應用于智能設備開發、銷售導購機器人、健康管理、廣告營銷等方面。情緒是一種綜合了人的感覺、思想和行為的狀態，它包括人對外界或自身刺激的心理反應，也包括伴隨這種心理反應的生理反應。在各種人-機交互系統(比如機器人，審訊系統等)里，如果系統能識別出人的情緒狀態，人與機器的交互就會變得更加友好和自然。因此，對情緒進行分析和識別是神經科學、心理學、認知科學、計算機科學和人工智能等領域的一項重要的交叉學科研究課題。

對于情緒的研究由來已久，使用的方法也各不相同。近年來，隨著腦電信號采集設備的應用和推廣，信號處理和機器學習技術的快速發展，以及計算機數據處理能力的大幅提高，基于腦電的情緒識別研究已經成為神經工程和生物醫學工程領域的熱門課題。

對應于不同的情緒誘發方法，情緒識別方法也各不相同，常見的情緒識別方法主要分為兩大類:基于非生理信號的識別和基于生理信號的識別。基于非生理信號的情緒識別方法主要包括對面部表情和語音語調的識別。面部表情識別方法是根據表情與情緒間的對應關系來識別不同的情緒，在特定情緒狀態下人們會產生特定的面部肌肉運動和表情模式，如心情愉悅時嘴角會上翹，眼部會出現環形褶皺；憤怒時會皺眉，睜大眼睛等。目前，面部表情識別多采用圖像識別的方法來實現。語音語調識別方法是根據不同情緒狀態下人們的語言表達方式的不同來實現的，如心情愉悅時說話的語調會比較歡快，煩躁時語調會比較沉悶。基于非生理信號識別方法的優點是操作簡單，不需要特殊設備。缺點是不能保證情緒識別的可靠性，因為人們可以通過偽裝面部表情和語音語調來掩飾自己的真實情緒，而這種偽裝往往不易被發現。其次，對于患有某些特殊疾病的殘疾人來說，基于非生理信號識別的方法往往難以實現。

由于腦電信號十分微弱，因此在采集過程中，必須通過高放大倍數的放大器對腦電信號進行信號放大。目前商業化的腦電信號放大器的體積普遍較大，不利于便攜式使用。最近出現了芯片化的腦電信號放大器，可以有效解決放大器體積過大問題，但是成本仍然較高，離實用化還有一定的距離。

所以很顯然，基于生理信號的情緒識別方法都需要復雜和昂貴的信號測量采集系統去得到較準確的生物信號，無法在廣泛的場景中應用，特別是在一些特殊場景，比如刑偵、審訊等中，需要隱秘測量時，這些方法都不可用。

因為情緒是個體對外界刺激的主觀的有意識的體驗和感受，具有心理和生理反應的特征，人們希望不需要直接觀測內在的感受，但是我們能夠通過其外顯的行為或生理變化來進行推斷，這就是現在更加推崇的情緒識別方法。而在這一類方法里，大部分情緒識別主要是對表情意義的識別。其識別方法主要是借助于面部大的肌肉群的運動進行的。但沒有綜合人的表情、說的文字、體態、語音語調和生理特征等。