[發明專利]一種基于EEG、BVP和微表情的潛在情緒識別方法

有效

• 申請號: 202010600524.X
• 申請日: 2020-06-28
• 公開（公告）號: CN111797747B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 相宸卓;王峰;牛錦;張美艷;宋劍橋;賈海蓉;馬軍輝;師澤州;王飛;趙晨晨
• 申請（專利權）人: 道和安邦（天津）安防科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06F18/213;G06F18/24;G06V10/80;G06V10/82;G06N3/0475;G06N3/045;A61B5/372;A61B5/346;A61B5/16
• 代理公司: 北京惠科金知識產權代理有限公司 11981
• 代理人: 賈婧琪

本發明公開了一種基于EEG、BVP和微表情信號的潛在情緒識別方法，具體包括以下步驟：一：潛在情緒數據采集；二：腦電信號特征提取；三：基于色度模型的BVP信號及其特征的提取；四：構建條件生成對抗網絡實現EEG特征、BVP特征數據生成；五：構建條件生成對抗網絡以實現微表情數據生成；六：基于EEG、BVP和微表情的潛在情緒識別。采用本發明的一種基于EEG、BVP和微表情信號的潛在情緒識別方法，具有簡單而高效,成本低廉、精度高等優點。

技術領域

本發明涉及圖像處理技術領域，具體涉及一種潛在情緒識別算法，特別是涉及一種基于EEG、BVP和微表情的潛在情緒識別方法。

背景技術

情緒識別是人工智能時代的一個重要課題，隨著深度神經網絡和機器學習的崛起，目前基于人工智能的情緒識別已經發展的如火如荼，可用于國家安全部門、刑偵司法機關、特殊群體心理監測等。現階段對情緒識別可以分為對生理信號的情緒識別、對人臉面部(微)表情的識別、以及融合人臉(微)表情與生理信號的情緒識別。其中潛在情緒研究主要對生理信號和微表情等較不明顯的信號進行情緒識別，基于此類信號的潛在情緒識別可以避免人為故意隱藏或克制其真實情緒的行為所帶來的誤判問題。

隨著腦電采集設備的應用，基于腦電信號(EEG)的潛在情緒識別也得到了快速的發展，眾多國內外學者如Picard、Kim、劉光遠教授團隊、王煥煥等人通過提取多種腦電信號并分別用特征降維和機器學習的方法實現潛在情緒識別，并取得不錯的識別率；臉部血容量脈沖(BVP)信號作為一種可快速提取的生理信號近年來也被用于潛在情緒識別，任福繼等人通過視頻提取BVP信號并對其提取時頻域特征進而實現對情緒的識別；微表情作為一種常見的情緒識別信號近年來得到廣泛的研究，同時計算機視覺科學家將深度學習模型應用于微表情識別，例如卷積神經網絡(CNN)、循環神經網絡(RNN)、長短時記憶網絡(LSTM)。但上述方法僅從單一的角度實現潛在情緒識別，并沒有考慮到情緒的產生是一個多種信號共存的情況，沒有考慮到多種情緒信號之間的相互作用，進而導致識別效果差且浪費大量系統資源，同時具有包含多種情緒信息的數據庫較為匱乏。

發明內容

針對現有技術中存在的問題，本發明提供一種基于EEG、BVP和微表情信號的潛在情緒識別方法，其具體技術方案包括以下步驟：

步驟一：潛在情緒數據采集。通過誘發視頻的方式使被試者產生對應的情緒狀態，通過Neuroscan?Synamps2腦電放大器采集腦電信號采集EEG腦電信號，通過攝像頭采集人臉面部數據，一方面用于提取微表情，另一方面通過色度模型提取BVP信號；

步驟二：腦電信號特征提取。對上一步提取的腦電信號提取其小波細節系數、協調關系度和Lempel-Ziv復雜度等直接特征，并與EMD分解特征融合構建混沌特征矩陣；

步驟三：基于色度模型的BVP信號及其特征的提取。對包含情緒狀態的視頻數據進行逐幀人臉檢測，計算RGB三通道像素均值，基于色度模型提取BVP信號，通過計算BVP信號相鄰主波峰時間間隔(P-P間隔)得到BVP變異信號，計算上述兩種信號的時頻特征并構建混沌矩陣；

步驟四：構建條件生成對抗網絡實現EEG特征、BVP特征數據生成。該網絡包括兩個生成器和兩個判別器，其中生成器具體為EEG特征生成器、BVP特征生成器，分別用于EEG特征向量、BVP特征向量的生成，對應的兩個判別器為EEG特征判別器、BVP特征判別器，分別用于判斷所生成的EEG特征、BVP特征是否符合真實規律。將步驟二和步驟三中得到的混沌特征矩陣作為條件輸入到EEG特征判別器和BVP特征判別器中，有監督的指導數據生成，通過生成器和判別器的多次相互博弈，產生以假亂真的數據，利用判別器分別對兩種生成的數據進行識別，將兩種識別結果通過D-S證據理論融合得到基于EEG特征和BVP特征的潛在情緒識別結果；