[發明專利]一種融合腦電和刺激源信息的視頻情感分類方法及系統

有效

• 申請號: 202110442820.6
• 申請日: 2021-04-23
• 公開（公告）號: CN113095428B
• 公開（公告）日: 2023-09-19
• 發明（設計）人: 劉歡;李珂;秦濤;鄭慶華;張玉哲;陳栩栩
• 申請（專利權）人: 西安交通大學
• 主分類號: A61B5/16
• 分類號: A61B5/16;A61B5/378;G06F18/2415;G06F18/25;G06F18/214;G06F18/2131;G06V20/40;G06V10/82;G06N3/0455;G06N3/044;G06N3/0464;G06N3/047;G06N3/048;G0
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 賀小停

1.一種融合腦電和刺激源信息的視頻情感分類方法，其特征在于，包括以下步驟：

步驟1，構建刺激源-腦電信號數據集：觀看視頻片段，并使用腦電掃描儀采集受試者觀看視頻時的腦電信號；根據視頻標簽、視頻內容以及受試者腦電信號構建刺激源-腦電信號數據集；

步驟2，構建多模態特征融合模型：對于數據集，提取視頻特征及腦電信號特征，并將兩種模態的特征分別表示為時序特征向量；對于多模態時序特征向量，采用基于注意力機制的多模態信息融合方法生成融合向量；

步驟3，訓練融合向量分類模型：對于生成的融合向量，將其作為神經網絡全連接層的輸入進行預測；根據預測結果與真實標簽的差異更新神經網絡權重，訓練神經網絡，待網絡穩定后完成模型的訓練；

步驟4，利用模型進行分類：對于待分類視頻，采集受試者觀看視頻時的腦電信號；提取視頻特征及腦電信號特征，并采用基于注意力機制的多模態信息融合方法生成融合向量；將融合向量輸入訓練好的神經網絡，網絡的輸出向量為各類情感類別的概率，選擇概率最大的情感類別作為視頻情感分類的結果；

步驟2中，時序特征向量：

將刺激源-腦電信號數據集劃分為訓練集和測試集，對于訓練集的視頻數據，按照1s的時間間隔提取視頻的圖像，并使用ResNet網絡分別提取這些圖像的特征，將特征按照時間步拼接得到時序特征向量；對于腦電信號，采用小波變換方式進行特征提取，得到時序特征向量；

步驟2中，將多模態特征向量通過基于注意力機制的多模態信息融合方法進行有機結合，生成時序融合向量；融合模型采用基于RNN循環神經網絡編碼器-解碼器結構，對于每一時間步，編碼器將多模態時序特征數據加權融合成一個中間語義表示，將語義表示輸入解碼器網絡，經過解碼得到當前時間步的融合特征，并由解碼器隱藏狀態更新特征融合權重，實現注意力機制；對所有時間步進行操作，最終得到時序融合向量。

2.根據權利要求1所述的一種融合腦電和刺激源信息的視頻情感分類方法，其特征在于，構建刺激源-腦電信號數據集具體為：

收集視頻，為受試者佩戴62通道腦電掃描儀，待信號穩定后讓受試者觀看刺激源視頻，采集受試者腦電信號；對采集得到的腦電數據進行清洗，并將視頻標簽、內容以及受試者腦電信號存入數據庫中，構建刺激源-腦電信號數據集。

3.根據權利要求2所述的一種融合腦電和刺激源信息的視頻情感分類方法，其特征在于，收集來自互聯網上的視頻片段，包含情感為積極、消極以及中立的視頻，且三者數量相同，每段視頻時長為3～5分鐘。

4.根據權利要求1所述的一種融合腦電和刺激源信息的視頻情感分類方法，其特征在于，步驟3中，訓練融合向量分類模型具體為：

對于上一步生成的時序融合向量，將其作為神經網絡全連接層的輸入進行預測，并使用Softmax函數對結果進行歸一化；使用基于Softmax的交叉熵作為損失函數，交叉熵越低說明預測結果與標簽越相近，使用隨機梯度下降法更新神經網絡權值，訓練神經網絡，待網絡穩定后完成模型的訓練。

5.根據權利要求1所述的一種融合腦電和刺激源信息的視頻情感分類方法，其特征在于，步驟4中，利用模型進行分類具體為：

對于待分類視頻，為受試者佩戴62通道腦電掃描儀，待信號穩定后讓受試者觀看該視頻，同時采集受試者腦電信號；采集完畢后進行數據清洗，并將腦電信號以及視頻信息輸入多模態特征融合模型生成時序融合向量；將融合向量輸入分類模型中進行分類，輸出結果經過Softmax函數得到各類情感類別的概率，選擇概率最大的情感類別作為視頻情感分類的結果。

6.一種融合腦電和刺激源信息的視頻情感分類系統，其特征在于，基于權利要求1至5任意一項所述的一種融合腦電和刺激源信息的視頻情感分類方法，包括

刺激源-腦電信號數據集構建模塊用于根據視頻標簽、視頻內容以及受試者腦電信號構建刺激源-腦電信號數據集；

多模態特征融合模型構建模塊用于對于數據集，提取視頻特征及腦電信號特征，并將兩種模態的特征分別表示為時序特征向量；對于多模態時序特征向量，采用基于注意力機制的多模態信息融合方法生成融合向量；

融合向量分類模型訓練模塊用于對于生成的融合向量，將其作為神經網絡全連接層的輸入進行預測；根據預測結果與真實標簽的差異更新神經網絡權重，訓練神經網絡，待網絡穩定后完成模型的訓練；

模型分類模塊用于對于待分類視頻，采集受試者觀看視頻時的腦電信號；提取視頻特征及腦電信號特征，并采用基于注意力機制的多模態信息融合方法生成融合向量；將融合向量輸入訓練好的神經網絡，網絡的輸出向量為各類情感類別的概率，選擇概率最大的情感類別作為視頻情感分類的結果；

時序特征向量：

將刺激源-腦電信號數據集劃分為訓練集和測試集，對于訓練集的視頻數據，按照1s的時間間隔提取視頻的圖像，并使用ResNet網絡分別提取這些圖像的特征，將特征按照時間步拼接得到時序特征向量；對于腦電信號，采用小波變換方式進行特征提取，得到時序特征向量；

將多模態特征向量通過基于注意力機制的多模態信息融合方法進行有機結合，生成時序融合向量；融合模型采用基于RNN循環神經網絡編碼器-解碼器結構，對于每一時間步，編碼器將多模態時序特征數據加權融合成一個中間語義表示，將語義表示輸入解碼器網絡，經過解碼得到當前時間步的融合特征，并由解碼器隱藏狀態更新特征融合權重，實現注意力機制；對所有時間步進行操作，最終得到時序融合向量。