[發明專利]一種基于腦機接口的視覺圖像重建系統

有效

• 申請號: 202010330551.X
• 申請日: 2020-04-23
• 公開（公告）號: CN111539331B
• 公開（公告）日: 2023-03-28
• 發明（設計）人: 潘紅光;董娜;溫帆
• 申請（專利權）人: 西安科技大學
• 主分類號: G06F18/10
• 分類號: G06F18/10;G06F18/213;G06F18/24;G06N3/0442;G06N3/0464;G06N3/08;G06T11/00
• 代理公司: 山東誠杰律師事務所 37265
• 代理人: 王志強;孫廷方

1.一種基于腦機接口的視覺圖像重建系統，其特征在于，包括：

所述腦電信號采集子系統，主要包括視頻對受試者進行視覺刺激時，依次用于對大腦產生的腦電信號進行采集的腦電帽、進行腦電信號放大的腦電信號放大器、進行腦電信號去噪的小波變換器、進行腦電信號濾波的帶通濾波器以及進行腦電信號記錄的腦電信號記錄軟件；

所述腦電信號特征提取與分類子系統，主要包括腦電信號特征提取模塊和腦電信號特征分類模塊，將腦電信號采集子系統輸出的腦電信號進行特征提取與分類；

所述圖像編碼器，對引起視覺刺激的視頻，進行剪輯處理轉換為輸入圖片，進而對輸入圖片進行編碼得到圖像特征向量；

所述腦電特征映射器，通過腦電特征映射網絡將腦電信號特征提取與分類子系統輸出的腦電信號特征向量轉換為圖像解碼器中潛在空間的特征向量，即腦電特征映射向量；

所述圖像解碼器，包括兩個，第一個圖像解碼器對圖像編碼器輸出的圖像特征向量進行解碼，得到解碼圖片，第二個圖像解碼器對腦電特征映射向量進行解碼，得到腦電信號的重建圖片；

所述判別器，通過卷積對解碼圖片進行判別，判斷其是否符合圖片輸出條件；

所述圖像質量評估子系統，根據符合圖片輸出條件的解碼圖片，對腦電信號的重建圖片進行無參考圖像質量評估。

所述圖像解碼器通過反卷積進行圖像特征向量或腦電特征映射向量的解碼，具體過程為：

1)圖像解碼器和圖像編碼器具有相同的權值，第一個圖像解碼器連接圖像解碼器的輸出端，第二個圖像解碼器連接腦電特征映射器的輸出端，第一個解碼器的輸入是圖像編碼器最終輸出的圖像特征向量，即特征圖，采用反卷積層，將特征圖的尺寸翻倍，同時將通道數量減半；反卷積后的輸出特征圖與圖像編碼器中對應的輸出特征圖連接一起，得到的特征圖進行卷積操作，以保持通道數量與圖像編碼器的對稱性，上采樣重復5次，對應圖像編碼器中的5次最大池化；第二個圖像解碼器是對腦電特征向量進行解碼，從而得到重建圖片，通過計算解碼圖片與重建圖片之間的像素損失，以及重建圖片與輸入圖片的峰值信噪比損失與結構相似性損失，來訓練腦電特征映射器；

2)給編碼-解碼模型輸入圖像I₁，I₂，將一對圖像之間的相似度轉化為n維潛在空間中對應的向量Z₁，Z₂之間的相互距離表示，一對圖像I₁，I₂作為輸入樣本，并根據一個對比損失函數d_c更新VGG-11神經網絡的權值，使模型學會判斷輸入是否為同一類，d_c的計算公式如下：

每類圖片的向量應均勻分布在潛在空間里，損失函數L是距離損失函數L_d、角度損失函數L_a、內容損失函數L_c三個分量的加權之和：

L＝W_dL_d+W_aL_a+W_cL_c

通過訓練使得損失函數L最小，將距離損失權重W_d，角度損失權重W_a，內容損失權重W_c這三個參數調到最佳；

其中距離損失函數L_d用來控制特征向量在潛在空間表示之間的相互距離，計算公式如下：

L_d＝td_c+(1-t)S²(m-d_c)

式中：t是目標系數，S是sigmiod函數，η是一個距離加權參數，m是區分潛在空間中簇的邊緣，l用于判斷輸入是否為同一類，如果圖片屬于同一類，l＝1，否則l＝0；如果圖片是同一類別的相似圖片，目標系數t接近于零；

角度損失函數L_a用來維持整個潛在空間特征向量簇位置的均勻性，計算公式如下：

z₁.z₂分別是輸入圖像I₁，I₂所對應的潛在空間的向量；

內容損失函數L_c用來控制解碼圖像的質量，計算公式如下：

式中：I_i為輸入圖片，I_o為編碼-解碼模型中圖像解碼器的輸出圖片，N為圖片的像素個數。