[發明專利]一種基于語音與表情的快速智能情緒測評分析方法

在審

• 申請號: 202011002355.6
• 申請日: 2020-09-22
• 公開（公告）號: CN112133407A
• 公開（公告）日: 2020-12-25
• 發明（設計）人: 田文洪;張平;巫成瑜;姜磊;白玉;黃寅虓
• 申請（專利權）人: 田文洪;張平;巫成瑜;姜磊;白玉;黃寅虓
• 主分類號: G16H20/70
• 分類號: G16H20/70;G16H50/20;G16H80/00;G16H15/00;G06K9/00;G06N3/04;G10L25/27;G10L25/63
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于語音與表情的快速智能情緒測評分析方法，其特征包括在線量表測試時記錄分析測試者對每道題所用時間，采用語音提問和答題的創新方式收集分析被測試者的聲紋特征，采用開放式語音對話收集分析被測試人員的語音和文本特征，在被測試者測試過程中捕捉其人臉表情并進行分析，形成融合量表、語音和表情分析的多維度和多模態心情緒分析方法。

2.根據權利要求1所述的在線量表測試時記錄分析測試者對每道題所用時間，其特征在于，包括記錄分析標準量表每道題的答題時間，語音提問每道題的答題時間，可據此進行數據分析發現被測試人員的心理健康特點；所收集的被測試人員對于每道題的回答時間將在測試報告中以數值和柱狀圖兩種形式進行分析對比，以分析發現被測試人員對于不同題目的回答特點。

3.根據權利要求1所述的采用語音提問和答題的創新方式收集分析被測試者的聲紋特征，其特征在于，設計語音提問和語音答題的方式，一方面為被測試人員提供多樣化的測試手段，另一方面可以捕捉答題人員的聲紋特征進行情緒分析；采用語音提問，方便與被測試人員進行交互，提升其參與測試的積極性；并收集分析被測試人員回答每道題目時的聲紋特征。

4.根據權利要求1所述的在被測試者測試過程中捕捉其人臉表情并進行分析，其特征在于在被測試人員答題交互過程之中，采用人臉表情識別分析被測試人員的表情，對不同尺寸的特征圖進行雙向LSTM分析，本專利中采用序列性的數據，在視頻流中截取序列圖片，對序列圖片中的每張圖片處理之后再通過串聯的方式進行連接，形成情緒數據流之后傳入雙向LSTM模型，然后對該序列數據進行處理分析；分類得出最終的7種表情結果并整合為積極、中性和消極(積極3種，中性1種，消極3種)以應用于情緒分析。

5.根據權利要求1所述的采用融合量表和語音及表情分析的多維度情緒分析方法，其特征在于將被測試人員的標準量表測試結果、語音交互提問和回答結果和測試期間的抽樣表情分析結果進行多維度分析，形成更為全面的情緒分析報告，對于被測試人員進行標準量表測試的結果結合每道題的答題時間形成數值和柱狀圖結果并依據測試得分進行癥狀分類與治療調理建議；同樣地，對于語音交互提問和回答結果形成形成數值和柱狀圖結果并依據測試得分進行癥狀分類與治療調理建議；對于測試期間的抽樣表情分析整合為積極、中性和消極(積極3種，中性1種，消極3種)并提供每種表情圖片的數量以便于形成表情分析報告。

6.根據權利要求1所述的形成融合量表、語音和表情分析的多模態情緒分析方法，采用多模態深度學習模型，將被測試人員的語音、語音轉換為文本和人臉表情圖片作為多模態輸入，進行融合分析，形成對被測試人員的綜合心理健康分析，以一種端到端的方式解決多模態語言序列的固有問題，借助多模態數據包含信息的完整性，提出一種基于人的面部表情、聲音的語調以及自然語言來理解說話者的情緒分析方法。