[發明專利]基于三維特征圖和卷積神經網絡的情緒識別方法及系統

有效

• 申請號: 202110272735.X
• 申請日: 2021-03-13
• 公開（公告）號: CN112990008B
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 鄭向偉;尹永強;崔振;陳宣池;張利峰;許春燕;張宇昂;高鵬志
• 申請（專利權）人: 山東海量信息技術研究院;山東師范大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/82;G06F3/01;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 董雪

本公開公開的基于三維特征圖和卷積神經網絡的情緒識別方法及系統，包括：獲取待識別的腦電信號；從待識別的腦電信號中提取無基礎情緒狀態腦電信號；采用小波包變換對無基礎情緒狀態腦電信號進行分解重構，獲取多個頻段信號，獲取每個頻段信號的小波能量比和小波熵；獲取無基礎情緒狀態腦電信號中每個通道腦電信號的復雜程度，與每個頻段信號的小波能量比和小波熵組成腦電特征；對腦電特征進行排列，形成特征立方體；將特征立方體輸入訓練好的CNN模型中進行情緒識別。提高了情緒識別的準確性。

技術領域

本發明涉及情緒狀態識別技術領域，尤其涉及基于三維特征圖和卷積神經網絡的情緒識別方法及系統。

背景技術

本部分的陳述僅僅是提供了與本公開相關的背景技術信息，不必然構成在先技術。

情緒是綜合了人的感覺、思想和行為的一種狀態，在人類決策處理、互動和認知過程中非常重要。當前，大多數情緒狀態分類研究利用腦電信號(Electroencephalogram，EEG)和面部表情來進行情緒狀態分類。EEG是記錄大腦皮層表面活動的信號，是大腦神經元突觸激活的結果。近年來已經表明，EEG是用于生物特征認證的合適信號，并且具有重要的功能。因此，基于EEG的情緒狀態識別應運而生，即利用EEG進行情緒狀態識別進而實現在線心理治療和醫療診斷。腦電信號中記錄了情緒狀態與大腦活動之間的關系，并以高時間分辨率反映了非常微妙的情緒狀態變化。然而，腦電信號具有時間不對稱和不穩定性、信噪比低以及無法直接確定腦區反應等缺點。因此，基于EEG的情緒狀態識別仍然是一項艱巨的任務。許多研究人員提出了基于EEG進行情緒狀態識別的方法，例如基于卷積神經網絡、深層信念網絡、圖卷積神經網絡等的情緒狀態識別方法。

近年來，CNN逐漸被該領域采用，但是面臨著一個問題，即如何將一維腦電信號轉換成3D特征圖的形式并且與CNN進行有效的結合，進而達到準確地識別人的情緒。

現有技術中存在以下技術問題：

單一類腦電特征情緒識別準率低，傳統分類模型易受維災難以及情緒識別準確率低缺點。與神經網絡相比，提取的特征決定了傳統分類模型的分類性能。而神經網絡中的卷積神經網絡具有權值共享、不易受到維災難的影響和特征自我選擇等優點。

卷積神經網絡具有學習局部連接結構并發展形成多尺度分層模式的能力，提高了圖像處理、視頻處理和聲音識別任務的效率。腦電圖是由每個通道產生的一維信號構成，無法為情緒識別提供空間信息。目前，CNN應用于基于腦電的情緒識別領域，但其識別準確率相對較低，其原因之一是未能提供腦電通道之間的空間相對位置信息；其二數據量相對較小，模型過擬合幾率增大；其三，提取的腦電特征對情緒識別的貢獻小。

發明內容

本公開為了解決上述問題，提出了基于三維特征圖和卷積神經網絡的情緒識別方法及系統，獲取了能夠反映腦電信號空間信息的特征立方體，通過特征立方體進行情緒識別，提高了情緒識別的準確率。

為實現上述目的，本公開采用如下技術方案：

第一方面，提出了基于三維特征圖和卷積神經網絡的情緒識別方法，包括：

獲取待識別的腦電信號；

從待識別的腦電信號中提取無基礎情緒狀態腦電信號；

采用小波包變換對無基礎情緒狀態腦電信號進行分解重構，獲取多個頻段信號，獲取每個頻段信號的小波能量比和小波熵；

獲取無基礎情緒狀態腦電信號中每個通道腦電信號的復雜程度，與每個頻段信號的小波能量比和小波熵組成腦電特征；

對腦電特征進行排列，形成特征立方體；

將特征立方體輸入訓練好的CNN模型中進行情緒識別。

第二方面，提出了基于三維特征圖和卷積神經網絡的情緒識別系統，包括：