[發(fā)明專利]一種大腦皮層電信號解碼的方法和裝置

有效

• 申請?zhí)枺?/td>: 201711099441.1
• 申請日: 2017-11-09
• 公開（公告）號: CN108021232B
• 公開（公告）日: 2019-11-22
• 發(fā)明（設計）人: 孫富春;譚川奇;張文昌
• 申請（專利權）人: 清華大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06N3/04
• 代理公司: 11002 北京路浩知識產(chǎn)權代理有限公司
• 代理人: 王瑩;吳歡燕<國際申請>=<國際公布>=

本發(fā)明提供一種大腦皮層電信號解碼的方法和裝置，通過將大腦皮層電信號轉換成腦電視頻圖，其中每幀的大腦皮層電信號對應一幀的腦電視頻圖；通過光流法，并根據(jù)每相鄰兩幀的腦電視頻圖獲取對應的一幀的腦電光流圖；根據(jù)腦電光流圖，確定大腦的指令。從而在通過大腦皮層電信號獲取解碼信息的過程中，將空間信息和時域信息統(tǒng)一、有效的表示在解碼信息中，將攜帶多個模態(tài)信息的解碼信息用于對大腦皮層電信號解碼，能保證在對大腦皮層電信號解碼上取得很好的效果和解碼的準確率，提高了腦機接口系統(tǒng)的使用效率和效用。

技術領域

本發(fā)明涉及神經(jīng)工程與人工智能的交叉技術領域，更具體地，涉及一種大腦皮層電信號解碼的方法和裝置。

背景技術

對于很多病患者，例如患有腦卒中病的患者，他們的正常的神經(jīng)-肌肉通路已經(jīng)被阻斷，但是他們的大腦功能卻是完好的。所以，除了正常的神經(jīng)-肌肉通路之外，提供一種通信方法來向外部世界傳遞大腦信息和命令是非常有意義的。由于腦頭皮層電信號的交互自然性和非侵入性特征，大多數(shù)腦機接口系統(tǒng)選擇大腦皮層電信號作為輸入。

基于腦電波(Electroencephalogram，簡稱為EEG)的腦機接口可以被認為是一種復雜的模式識別系統(tǒng)，包括幾個關鍵步驟：信號采集，預處理，特征提取，分類，外部設備控制和反饋。其中最大的挑戰(zhàn)是EEG解碼，旨在將原始的大腦皮層電信號轉化為大腦的指令。當大腦皮層電信號被正確解碼時，可用于控制外部設備，如康復設備和其他設備。

然而，傳統(tǒng)的EEG解碼方法無法獲得令人滿意的結果，其中一個原因是在通過大腦皮層電信號獲取用于解碼的信息的過程中，無法以一種統(tǒng)一的、有效的表示方法來表示大腦皮層電信號在多個模態(tài)上所攜帶的信息，從而某些模態(tài)上有用的信息，例如空間信息和時域信息，被忽略，導致其無法在大腦皮層電信號解碼上取得很好的效果，限制了許多腦機接口系統(tǒng)的使用效率和效用。

發(fā)明內(nèi)容

為了克服上述問題或者至少部分地解決上述問題，本發(fā)明提供一種大腦皮層電信號解碼的方法和裝置。

根據(jù)本發(fā)明的一個方面，提供一種大腦皮層電信號解碼的方法，包括：將大腦皮層電信號轉換成腦電視頻圖，每幀的大腦皮層電信號對應一幀的腦電視頻圖；通過光流法，并根據(jù)每相鄰兩幀的腦電視頻圖獲取對應的一幀的腦電光流圖；根據(jù)腦電光流圖，確定大腦的指令。

其中，將大腦皮層電信號轉換成腦電視頻圖，包括：在用于采集大腦皮層電信號的電極與兩維平面上的點之間建立一一對應的投射關系；基于投射關系，將大腦皮層電信號中每一電極采集的電信號的信息投射到兩維平面上的對應的點，獲得對應的基礎腦電平面圖；基于插值法，將基礎腦電平面圖轉換為對應的腦電視頻圖。

其中，基于投射關系，將大腦皮層電信號中每一電極采集的電信號的信息投射到兩維平面上的對應的點，獲得對應的基礎腦電平面圖之前，還包括：將大腦皮層電信號通過頻域濾波器進行濾波處理。

其中，根據(jù)腦電光流圖，確定大腦的指令，包括：將腦電光流圖輸入到經(jīng)訓練的深度神經(jīng)網(wǎng)絡模型，輸出預設指令集中每一指令對應的概率；將概率最大的指令作為大腦的指令。

其中，深度神經(jīng)網(wǎng)絡模型包括：卷積神經(jīng)網(wǎng)絡、遞歸神經(jīng)網(wǎng)絡和多個全連接層；深度神經(jīng)網(wǎng)絡模型的輸入口為卷積神經(jīng)網(wǎng)絡的輸入口，卷積神經(jīng)網(wǎng)絡的輸出口連接至遞歸神經(jīng)網(wǎng)絡的輸入口，多個全連接層依次連接，且第一個全連接層的輸入口連接至遞歸神經(jīng)網(wǎng)絡的輸出口，最后一個全連接層的輸出口作為深度神經(jīng)網(wǎng)絡模型的輸出口。

其中，卷積神經(jīng)網(wǎng)絡包括多個卷積層、多個池化層和一個Dropout層，每一卷積層使用ReLU作為激活函數(shù)；遞歸神經(jīng)網(wǎng)絡包括多個遞歸神經(jīng)單元，每一遞歸神經(jīng)單元中包括長短期記憶網(wǎng)絡。

本發(fā)明的另一方面，提供一種大腦皮層電信號解碼的裝置，包括：至少一個處理器；以及與所述處理器通信連接的至少一個存儲器，其中：所述存儲器存儲有可被所述處理器執(zhí)行的程序指令，所述處理器調用所述程序指令以執(zhí)行上述的方法。