[發(fā)明專利]一種基于腦機(jī)接口的視覺圖像重建系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010330551.X
• 申請(qǐng)日: 2020-04-23
• 公開（公告）號(hào): CN111539331B
• 公開（公告）日: 2023-03-28
• 發(fā)明（設(shè)計(jì)）人: 潘紅光;董娜;溫帆
• 申請(qǐng)（專利權(quán)）人: 西安科技大學(xué)
• 主分類號(hào): G06F18/10
• 分類號(hào): G06F18/10;G06F18/213;G06F18/24;G06N3/0442;G06N3/0464;G06N3/08;G06T11/00
• 代理公司: 山東誠杰律師事務(wù)所 37265
• 代理人: 王志強(qiáng);孫廷方

本發(fā)明公開了一種基于腦機(jī)接口的視覺圖像重建系統(tǒng)，可以實(shí)現(xiàn)基于腦電信號(hào)的實(shí)時(shí)圖像重建，包括：腦電信號(hào)采集子系統(tǒng)；腦電信號(hào)特征提取與分類子系統(tǒng)；圖像編碼器；圖像解碼器；判別器；腦電特征映射器；圖像質(zhì)量評(píng)估子系統(tǒng)。腦電信號(hào)特征提取與分類子系統(tǒng)進(jìn)行腦電信號(hào)特征提取和分類；圖像編碼器對(duì)圖形進(jìn)行編碼。圖像解碼器進(jìn)行特征向量的解碼。判別器是通過卷積對(duì)解碼圖片進(jìn)行判別。腦電特征映射器是通過腦電特征映射網(wǎng)絡(luò)將腦電信號(hào)特征向量轉(zhuǎn)換為圖像解碼器中潛在空間的特征向量。圖像質(zhì)量評(píng)估是對(duì)腦電信號(hào)的重建圖片進(jìn)行無參考圖像質(zhì)量評(píng)估。本發(fā)明可將視覺所看到的圖像信息恢復(fù)重建，理解特定刺激所誘發(fā)的腦電信號(hào)。

技術(shù)領(lǐng)域

本發(fā)明涉及腦機(jī)接口視覺圖像重建技術(shù)領(lǐng)域，尤其涉及一種基于腦機(jī)接口的視覺圖像重建系統(tǒng)。

背景技術(shù)

一般視覺是人類與環(huán)境進(jìn)行互動(dòng)的基本功能之一，并且人類從外部接受的信息80％是以上都是視覺信息，所以視覺信息占據(jù)著重要的地位。近幾十年來，隨著認(rèn)知神經(jīng)科學(xué)的不斷發(fā)展，人們通過神經(jīng)影像技術(shù)可以觀察到不同認(rèn)知任務(wù)下的腦激活模式，從而研究大腦皮層對(duì)視覺信息加工處理的神經(jīng)編碼機(jī)制，以及解碼其相應(yīng)的認(rèn)知狀態(tài)。而機(jī)器學(xué)習(xí)為圖像的編碼和解碼提供了強(qiáng)有力的理論和技術(shù)支持。目前該領(lǐng)域內(nèi)視覺圖像識(shí)別和重建適合基于圖像的相似性進(jìn)行解碼，但極少提供關(guān)于人所看到或想象的對(duì)象的精確信息，采用基于腦電信號(hào)進(jìn)行圖像重建的研究尚處于初級(jí)階段，未形成系統(tǒng)化成果。

發(fā)明內(nèi)容

為了解決上述背景技術(shù)中提出的問題，本發(fā)明提供了一種基于腦機(jī)接口的視覺圖像重建系統(tǒng)。

本發(fā)明的有益效果是：將視覺所看到的圖像信息予以恢復(fù)重建，理解特定刺激所誘發(fā)的腦電信號(hào)。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是：

一種基于腦機(jī)接口的視覺圖像重建系統(tǒng)，包括：

腦電信號(hào)采集子系統(tǒng)，主要包括視頻對(duì)受試者進(jìn)行視覺刺激時(shí)，依次用于對(duì)大腦產(chǎn)生的腦電信號(hào)進(jìn)行采集的腦電帽、進(jìn)行腦電信號(hào)放大的腦電信號(hào)放大器、進(jìn)行腦電信號(hào)去噪的小波變換器、進(jìn)行腦電信號(hào)濾波的帶通濾波器以及進(jìn)行腦電信號(hào)記錄的腦電信號(hào)記錄軟件；

腦電信號(hào)特征提取與分類子系統(tǒng)，主要包括腦電信號(hào)特征提取模塊和腦電信號(hào)特征分類模塊，將腦電信號(hào)采集子系統(tǒng)輸出的腦電信號(hào)進(jìn)行特征提取與分類；

圖像編碼器，對(duì)引起視覺刺激的視頻，進(jìn)行剪輯處理轉(zhuǎn)換為輸入圖片，進(jìn)而對(duì)輸入圖片進(jìn)行編碼得到圖像特征向量；

腦電特征映射器，通過腦電特征映射網(wǎng)絡(luò)將腦電信號(hào)特征提取與分類子系統(tǒng)輸出的腦電信號(hào)特征向量轉(zhuǎn)換為圖像解碼器中潛在空間的特征向量，即腦電特征映射向量；

圖像解碼器，包括兩個(gè)，第一個(gè)圖像解碼器對(duì)圖像編碼器輸出的圖像特征向量進(jìn)行解碼，得到解碼圖片，第二個(gè)圖像解碼器對(duì)腦電特征映射向量進(jìn)行解碼，得到腦電信號(hào)的重建圖片；

判別器，通過卷積對(duì)解碼圖片進(jìn)行判別，判斷其是否符合圖片輸出條件；

圖像質(zhì)量評(píng)估子系統(tǒng)，根據(jù)符合圖片輸出條件的解碼圖片，對(duì)腦電信號(hào)的重建圖片進(jìn)行無參考圖像質(zhì)量評(píng)估。

本發(fā)明視覺重建包括如下步驟：

獲取受試者觀看視頻的腦電信號(hào)并對(duì)其進(jìn)行特征提取與分類，得到腦電特征向量；

將腦電特征向量輸入到LSTM神經(jīng)網(wǎng)絡(luò)的特征映射器，使得經(jīng)過腦電特征映射的腦電特征向量盡可能與潛在空間向量相等，得到腦電特征映射向量，即即圖像特征向量；

先對(duì)受試者觀看的視頻進(jìn)行剪輯處理，得到編碼器的輸入圖片，輸入圖片通過VGG-11神經(jīng)網(wǎng)絡(luò)進(jìn)行編碼，得到潛在空間的特征向量；

通過反卷積進(jìn)行特征向量的解碼；

對(duì)解碼圖片進(jìn)行判別，看其是否符合輸出條件；