[發明專利]一種基于EEG、BVP和微表情的潛在情緒識別方法

有效

• 申請號: 202010600524.X
• 申請日: 2020-06-28
• 公開（公告）號: CN111797747B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 相宸卓;王峰;牛錦;張美艷;宋劍橋;賈海蓉;馬軍輝;師澤州;王飛;趙晨晨
• 申請（專利權）人: 道和安邦（天津）安防科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06F18/213;G06F18/24;G06V10/80;G06V10/82;G06N3/0475;G06N3/045;A61B5/372;A61B5/346;A61B5/16
• 代理公司: 北京惠科金知識產權代理有限公司 11981
• 代理人: 賈婧琪

1.一種基于EEG、BVP和微表情信號的潛在情緒識別方法，其特征在于，包括以下幾個步驟：

步驟一：潛在情緒數據采集，通過誘發視頻的方式使被試者產生對應的情緒狀態，通過Neuroscan?Synamps2腦電放大器采集腦電信號采集EEG腦電信號，通過攝像頭采集人臉面部數據，一方面用于提取微表情，另一方面通過色度模型提取BVP信號；

步驟二：腦電信號特征提取，對上一步提取的腦電信號提取其小波細節系數、協調關系度和Lempel—Ziv復雜度直接特征，并與EMD分解特征融合構建混沌特征矩陣；

步驟三：基于色度模型的BVP信號及其特征的提取，對包含情緒狀態的視頻數據進行逐幀人臉檢測，計算RGB三通道像素均值，基于色度模型提取BVP信號，通過計算BVP信號相鄰主波峰時間間隔(P-P間隔)得到BVP變異信號，計算上述兩種信號的時頻特征并構建混沌矩陣；

步驟四：構建條件生成對抗網絡實現EEG特征、BVP特征數據生成，該網絡包括兩個生成器和兩個判別器，其中生成器具體為EEG特征生成器、BVP特征生成器，分別用于EEG特征向量、BVP特征向量的生成，對應的兩個判別器為EEG特征判別器、BVP特征判別器，分別用于判斷所生成的EEG特征、BVP特征是否符合真實規律，將步驟二和步驟三中得到的混沌特征矩陣作為條件輸入到EEG特征判別器和BVP特征判別器中，有監督的指導數據生成，通過生成器和判別器的多次相互博弈，產生以假亂真的數據，利用判別器分別對兩種生成的數據進行識別，將兩種識別結果通過D-S證據理論融合得到基于EEG特征和BVP特征的潛在情緒識別結果；

步驟五：構建條件生成對抗網絡以實現微表情數據生成，該網絡包括一個生成器和一個判別器，其中生成器為微表情生成器，用于生成微表情序列，對應的判別器為微表情判別器，用于判斷生成器所生成的微表情序列內容的真假，將步驟四中得到的兩種信號的識別結果作為條件輸入到微表情判別器中，用于指導數據生成，加快數據生成與判別速度，通過多次生成器與判別器的博弈，得到以假亂真的微表情數據，利用判別器進行識別，得到基于微表情的潛在情緒識別結果；

步驟六：基于EEG、BVP和微表情的潛在情緒識別，潛在情緒的識別使用判別器完成，將步驟四中和步驟五中得到的識別結果再次通過D-S證據理論融合得到基于EEG、BVP和微表情的潛在情緒識別結果；

所述步驟二具體包括：

(1)將步驟一中所提取的腦電信號通過ICA進行去噪，使用巴特沃斯濾波器提取1-43Hz頻段內的信號作為有效腦電信號；

(2)對有效腦電信號提取其小波細節系數，并計算協調關系度和Lempel-Ziv復雜度直接特征；

(3)通過EMD對有效腦電信號進行分解對分解得到的前4個IMF計算平均近似熵；

(4)將得到的3種直接特征和EMD分解后得到的特征構建混沌特征矩陣；

在所述步驟四中，EEG特征生成器、BVP特征生成器均選用LSTM生成器，包含十六個部分，每一部分由一個LSTM層和全連接層組成，利用生成器將隨機噪聲生成類似真實信號，將得到的信號通過判別器進行對抗；EEG特征判別器和BVP特征判別器均由殘差網絡+LSTM構成，第一部分包括一個二維卷積層和一個LeakyReLU層，第二部分到第四部分有相同的結構，包含一個二維卷積層、一個BatchNorm2d層和一個LeakyReLU層，第五部分包含一個二維卷積層和一個Sigmoid層，最終輸出判別結果；在生成對抗期間，將步驟二和步驟三中得到的混沌特征矩陣作為條件輸入到EEG特征判別器和BVP特征判別器中，可以指導數據的生成，加快生成速度；最后通過判別器對生成的兩種數據進行識別，將得到的兩種識別結果通過D-S證據理論融合得到基于EEG和BVP的潛在情緒識別結果；

在所述步驟五中，微表情生成器包含七個部分，第一部分到第六部分結構相同，包含一個二維反卷積層，一個BatchNorm2d層和一個RELU層，第七部分包含一個二維反卷積層和一個Tanh層；微表情判別器包含五個部分，第一部分包括一個二維卷積層和一個LeakyReLU層，第二部分到第四部分有相同的結構，包含一個二維卷積層、一個BatchNorm2d層和一個LeakyReLU層，第五部分包含一個二維卷積層和一個Sigmoid層；為加快數據生成效率，將步驟四中融合后的結果輸入到判別器中有監督的指導數據生成。