[發(fā)明專利]基于多模態(tài)情緒識別系統(tǒng)的語音信號分析子系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201810612829.5
• 申請日: 2018-06-14
• 公開（公告）號: CN108899050B
• 公開（公告）日: 2020-10-02
• 發(fā)明（設(shè)計）人: 俞旸;凌志輝
• 申請（專利權(quán)）人: 南京云思創(chuàng)智信息科技有限公司
• 主分類號: G10L25/63
• 分類號: G10L25/63;G10L25/30;G10L15/18;G10L15/24;G10L15/25;G06K9/00;G06K9/62;G06N3/04
• 代理公司: 南京知識律師事務(wù)所 32207
• 代理人: 張?zhí)K沛

本發(fā)明公開了一種基于多模態(tài)情緒識別系統(tǒng)的語音信號分析子系統(tǒng)，它包括數(shù)據(jù)采集設(shè)備、輸出設(shè)備，其特征在于：它還包括情緒分析軟件系統(tǒng)，所述情緒分析軟件系統(tǒng)通過對所述數(shù)據(jù)采集設(shè)備得到的數(shù)據(jù)進(jìn)行綜合分析推理，最終把結(jié)果輸出至所述輸出設(shè)備上；所述情緒分析軟件系統(tǒng)包括基于語音信號的情緒識別子系統(tǒng)。本發(fā)明突破性的打通了五大單模態(tài)的情緒識別，創(chuàng)新性的利用深度神經(jīng)網(wǎng)絡(luò)將多個單模態(tài)的信息由神經(jīng)網(wǎng)絡(luò)編碼、深度的關(guān)聯(lián)和理解后進(jìn)行綜合判斷，大幅度的提高了準(zhǔn)確率，適用于絕大多數(shù)一般問詢互動類應(yīng)用場景。

技術(shù)領(lǐng)域

本發(fā)明涉及情緒設(shè)別技術(shù)領(lǐng)域，具體而言，尤其涉及機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、計算機(jī)視覺、自然語言處理、語音識別、人體動作識別、非接觸式生理檢測等基于多模態(tài)情緒識別系統(tǒng)的語音信號分析子系統(tǒng)。

背景技術(shù)

情緒識別，是一種判斷人的情緒變化的技術(shù)，主要是通過收集人的外在表情和行為變化，對人的心理狀態(tài)進(jìn)行推斷。在現(xiàn)代社會，情緒識別技術(shù)以及被廣泛應(yīng)用于智能設(shè)備開發(fā)、銷售導(dǎo)購機(jī)器人、健康管理、廣告營銷等方面。情緒是一種綜合了人的感覺、思想和行為的狀態(tài)，它包括人對外界或自身刺激的心理反應(yīng)，也包括伴隨這種心理反應(yīng)的生理反應(yīng)。在各種人-機(jī)交互系統(tǒng)(比如機(jī)器人，審訊系統(tǒng)等)里，如果系統(tǒng)能識別出人的情緒狀態(tài)，人與機(jī)器的交互就會變得更加友好和自然。因此，對情緒進(jìn)行分析和識別是神經(jīng)科學(xué)、心理學(xué)、認(rèn)知科學(xué)、計算機(jī)科學(xué)和人工智能等領(lǐng)域的一項重要的交叉學(xué)科研究課題。

對于情緒的研究由來已久，使用的方法也各不相同。近年來，隨著腦電信號采集設(shè)備的應(yīng)用和推廣，信號處理和機(jī)器學(xué)習(xí)技術(shù)的快速發(fā)展，以及計算機(jī)數(shù)據(jù)處理能力的大幅提高，基于腦電的情緒識別研究已經(jīng)成為神經(jīng)工程和生物醫(yī)學(xué)工程領(lǐng)域的熱門課題。

對應(yīng)于不同的情緒誘發(fā)方法，情緒識別方法也各不相同，常見的情緒識別方法主要分為兩大類:基于非生理信號的識別和基于生理信號的識別。基于非生理信號的情緒識別方法主要包括對面部表情和語音語調(diào)的識別。面部表情識別方法是根據(jù)表情與情緒間的對應(yīng)關(guān)系來識別不同的情緒，在特定情緒狀態(tài)下人們會產(chǎn)生特定的面部肌肉運動和表情模式，如心情愉悅時嘴角會上翹，眼部會出現(xiàn)環(huán)形褶皺；憤怒時會皺眉，睜大眼睛等。目前，面部表情識別多采用圖像識別的方法來實現(xiàn)。語音語調(diào)識別方法是根據(jù)不同情緒狀態(tài)下人們的語言表達(dá)方式的不同來實現(xiàn)的，如心情愉悅時說話的語調(diào)會比較歡快，煩躁時語調(diào)會比較沉悶。基于非生理信號識別方法的優(yōu)點是操作簡單，不需要特殊設(shè)備。缺點是不能保證情緒識別的可靠性，因為人們可以通過偽裝面部表情和語音語調(diào)來掩飾自己的真實情緒，而這種偽裝往往不易被發(fā)現(xiàn)。其次，對于患有某些特殊疾病的殘疾人來說，基于非生理信號識別的方法往往難以實現(xiàn)。

由于腦電信號十分微弱，因此在采集過程中，必須通過高放大倍數(shù)的放大器對腦電信號進(jìn)行信號放大。目前商業(yè)化的腦電信號放大器的體積普遍較大，不利于便攜式使用。最近出現(xiàn)了芯片化的腦電信號放大器，可以有效解決放大器體積過大問題，但是成本仍然較高，離實用化還有一定的距離。

所以很顯然，基于生理信號的情緒識別方法都需要復(fù)雜和昂貴的信號測量采集系統(tǒng)去得到較準(zhǔn)確的生物信號，無法在廣泛的場景中應(yīng)用，特別是在一些特殊場景，比如刑偵、審訊等中，需要隱秘測量時，這些方法都不可用。

因為情緒是個體對外界刺激的主觀的有意識的體驗和感受，具有心理和生理反應(yīng)的特征，人們希望不需要直接觀測內(nèi)在的感受，但是我們能夠通過其外顯的行為或生理變化來進(jìn)行推斷，這就是現(xiàn)在更加推崇的情緒識別方法。而在這一類方法里，大部分情緒識別主要是對表情意義的識別。其識別方法主要是借助于面部大的肌肉群的運動進(jìn)行的。但沒有綜合人的表情、說的文字、體態(tài)、語音語調(diào)和生理特征等。