[發明專利]一種基于語音與表情的快速智能情緒測評分析方法

在審

• 申請號: 202011002355.6
• 申請日: 2020-09-22
• 公開（公告）號: CN112133407A
• 公開（公告）日: 2020-12-25
• 發明（設計）人: 田文洪;張平;巫成瑜;姜磊;白玉;黃寅虓
• 申請（專利權）人: 田文洪;張平;巫成瑜;姜磊;白玉;黃寅虓
• 主分類號: G16H20/70
• 分類號: G16H20/70;G16H50/20;G16H80/00;G16H15/00;G06K9/00;G06N3/04;G10L25/27;G10L25/63
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開一種基于語音與表情的快速智能情緒測評分析方法。其特點包括在線量表測試時記錄分析被測試者對每道題所用時間，分析發現被測試人員對于不同題目的回答特點；采用語音提問和答題的創新方式，為被測試人員提供多樣化的測試手段，同時捕捉答題人員的聲紋特征進行心理情緒分析，采用開放式語音對話收集分析被測試人員的語音和轉化為文本的特征；在被測試者測試過程中捕捉其人臉表情，采用最新深度學習技術對被測試人員表情進行及時分析。最終形成融合量表、語音和表情分析的多維度和多模態心情緒測評分析方法。

技術領域

本發明涉及計算機輔助情緒分析技術領域，特別是涉及一種基于語音與表情的快速智能情緒測評分析方法。

背景技術

目前急需構建社會心理服務體系。然而，與身體疾病相比，精神障礙更難發現。精神健康的負擔因諸如社會恥辱、經濟費用和缺乏無障礙治療方案等護理障礙而加劇。為了解決根深蒂固的護理障礙，需要采用可擴展的方法來檢測心理健康癥狀。早期發現可能會影響60％未接受治療的精神病成年人的就診機會。

情緒對于人類的感知、記憶、學習、創造、決策和社交都有很重要的作用，有研究顯示“人類交流中80％的信息都是情緒性的信息”。從認知科學角度來看，情緒本身是高級智能的一部分。作為大腦運行資源的調配者，情緒狀態的不同會導致大腦計算和分配資源的方式有巨大差異，思維執行路徑也會完全不同。另外，人類進化使其情緒判斷的準確性不斷提高，不斷的正向反饋也使得我們越來越依賴用識別對方情緒的方法來判斷其行為傾向，甚至已經成為自動運行的認知方式。由于情緒在人類信息溝通中的意義重大，所以情緒識別是實現人性化的人機交互過程中必不可少的部分，情緒識別與理解技術也是人機交互的基礎性技術之一。

情緒識別是利用計算機對人類的情緒狀態進行自動識別、判斷和分類的過程。國外對于情緒識別的研究工作開展的較早，1972年，Williams等人關于說話者情緒變化給相應的語音的基礎聲學輪廓帶來的影響的研究是最早進行語音情緒識別的研究。此后，1988年麻省理工學院的Minsky教授在他的專著《The SocietyofMind》中首次提出“計算機的情緒能力”這一概念，其主要能力就是情緒識別。1990年，麻省理工學院多媒體實驗室的Cahn等人搭建并使用了一套情緒識別系統來采集人類的各種情緒信息，利用這些信息進行情緒分析。1995年麻省理工學院Picard教授在其專著《AffectiveComputing:Challenges》中首次提出“情緒計算”的概念，這一概念也一直沿用至今，成為計算機科學、人機交互科學中重要的分支領域。2015年之后，隨著機器學習、深度學習的研究浪潮，情緒識別的研究也迎來一波新的熱度。

傳統的情緒識別只是關注單獨一個模態，如從文本、語音或者圖像中挖掘分析情緒。而隨著社交網絡的快速發展，人們在平臺上的表達方式變得越來越豐富，如通過圖文和視頻表達自己的情緒和觀點。如何分析多模態數據中的情緒，是當前情緒分析領域面臨的機遇和挑戰。一方面，以往情緒分析聚焦于單個模態。如文本情緒分析著眼于分析，挖掘和推理文本中蘊含的情緒?，F在需要對多個模態的數據進行處理和分析，這給研究人員帶來了更大的挑戰。另一方面，多模態數據與單模態數據相比，包含了更多的信息，多個模態之間可以互相補充。不同模態信息相互補充，可以幫助機器更好地理解情緒。從人機交互角度出發，多模態情緒分析可以使得機器在更加自然的情況下與人進行交互。機器可以基于圖像中人的表情和手勢，聲音中的音調，和識別出的自然語言來理解用戶情緒，進而進行反饋。