[發明專利]基于多尺度成像的多模態特征融合腦電情感識別方法在審
| 申請號： | 202210440906.X | 申請日： | 2022-04-26 |
| 公開（公告）號： | CN114767130A | 公開（公告）日： | 2022-07-22 |
| 發明（設計）人： | 徐華興;胡飛;常加興;毛曉波;李立國;鄭鵬遠 | 申請（專利權）人： | 鄭州大學 |
| 主分類號： | A61B5/372 | 分類號： | A61B5/372;A61B5/00;A61B5/16;G06K9/00;G06N3/04;G06N3/08 |
| 代理公司： | 鄭州異開專利事務所(普通合伙) 41114 | 代理人： | 韓鵬程 |
| 地址： | 450000 河南*** | 國省代碼： | 河南;41 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 基于 尺度 成像 多模態 特征 融合 情感 識別 方法 | ||
1.一種基于多尺度成像的多模態特征融合腦電情感識別方法，其特征在于：包括以下步驟：
S1，使用python代碼對原始的腦電信號進行基線去除，獲得第一腦電信號；
S2，對所述第一腦電信號進行多尺度處理，獲得第二腦電信號；
S3，使用時間序列成像算法將所述第二腦電信號轉為圖像，獲得N 個圖像數據集；
S4，對N 個所述圖像數據集進行數據增強，構建N個樣本和標簽集；
S5， N個所述樣本和標簽集分別通過ResNet模型和DNN-01模型，獲得N個第一特征向量；
S6， N個所述第一特征向量通過組合形成3個第二特征向量；
S7， 3個所述第二特征向量分別通過DNN-02模型，形成多模態特征融合的腦電情感分類模型；
S8，采用十折交叉驗證方法將S4步中的N個樣本和標簽集隨機劃分為十份，其中九份作為訓練數據，剩余一份作為測試數據，訓練所述多模態特征融合的腦電情感分類模型，獲得腦電情感分類識別模型。
2.根據權利要求1所述的基于多尺度成像的多模態特征融合腦電情感識別方法，其特征在于：所述基線去除包括以下內容：將所述原始腦電信號中基線信號和實驗信號分別劃分為長度為L的K段和I段，從每個實驗信號段中減去所有基線信號段的平均值。
3.根據權利要求1所述的基于多尺度成像的多模態特征融合腦電情感識別方法，其特征在于：所述多尺度處理的數學定義為：
，
其中，為設置的時間尺度，L為原始腦電信號的長度，為i時刻原始腦電信號的信號值，為第二腦電信號，j為第二腦電信號的索引。
4.根據權利要求1所述的基于多尺度成像的多模態特征融合腦電情感識別方法，其特征在于：所述數據增強為Mixup。
5.根據權利要求1所述的基于多尺度成像的多模態特征融合腦電情感識別方法，其特征在于： 3個所述第二特征向量為：由N個所述第一特征向量相加組成的第二特征向量；由N個第一特征向量相同位置的最大值組成的第二特征向量；使用一個全連接層將N個第一特征向量加權組合組成的第二特征向量。
6.根據權利要求5所述的基于多尺度成像的多模態特征融合腦電情感識別方法，其特征在于：所述加權組合中權重為N個所述第一特征向量經全連接層訓練后的參數。
7.根據權利要求1所述的基于多尺度成像的多模態特征融合腦電情感識別方法，其特征在于：所述多模態特征融合的腦電情感分類模型的損失計算公式如下：
，
其中，和為預設的參數，L i為所述N個樣本和標簽集通過ResNet模型和DNN-01模型的損失，的整數；Lcom為所述N個第三特征向量分別通過DNN-02模型的損失。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于鄭州大學，未經鄭州大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202210440906.X/1.html，轉載請聲明來源鉆瓜專利網。
