[發明專利]一種多模態信號的腦機接口方法

有效

• 申請號: 201410400030.1
• 申請日: 2014-08-14
• 公開（公告）號: CN104182042B
• 公開（公告）日: 2017-07-11
• 發明（設計）人: 駱清銘;龔輝;李穎;李鵬程
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 北京華沛德權律師事務所11302
• 代理人: 劉杰

技術領域

本發明涉及腦機接口技術領域，尤其涉及到一種多模態信號的腦機接口方法。

背景技術

腦機接口是將思維過程中的神經生理信號轉換為控制信號，控制外部機器而不依靠外周神經系統和肌肉的一種系統。腦機接口技術在康復工程、虛擬現實、游戲娛樂以及航天、軍事等領域體現出重要的應用前景。腦機接口技術分為侵入式腦機接口技術和非侵入式腦機接口技術。侵入式腦機接口技術采用大腦皮層植入式電極技術，具有信噪比高、控制精準等優點。但是侵入式腦機接口技術需要開顱手術，難以實現大范圍的使用。而非侵入式腦機接口因其相對容易獲得的信號和廣泛的使用者人群，顯示出了廣泛的應用前景。腦電(EEG)直接探測神經活動的電信號，是非侵入式腦機接口領域最常用的一種技術。穩態視覺響應信號、P300信號和事件相關去極化(ERD)信號是基于腦電的腦機接口常用的三種信號模態。同時獲取其中的兩種或三種信號可以構成多模態腦機接口。例如，發明專利【CN 102331782 B】公開的一種多模態腦機接口的自動車控制方法；發明專利【CN 101968715 A】公開的一種基于腦機接口鼠標控制的因特網瀏覽方法。

上述用不同刺激任務得到不同模態的腦電信號來實現腦機接口的方法，歸根到底多模態的信號來源都是腦電。近紅外光譜術是通過測量含氧血紅蛋白(HbO₂)和去氧血紅蛋白(Hb)的相對濃度變化來間接反映大腦皮層的神經元活動的一種技術。近年來近紅外光譜術也被應用到了腦機接口領域。近紅外光譜術和腦電具有類似的優點：無損、便攜、信號獲取容易。因為不同信息來源的信號可以在一定程度上互補,將腦電和近紅外聯合起來構成腦機接口系統，可以提高腦機接口系統的精度。目前僅有發明專利【CN 101853070 A】提出了利用腦電和腦血氧信號來區分運動想象，但是其探測的信號僅限于完成大腦高級認知功能前額葉皮層。而已有的功能磁共振(fMRI)和正電子發射掃描術(PET)的研究表明運動想象激活的腦皮層主要是運動皮層(4區)，前額葉皮層(6區)和后頂葉皮層(5區和7區)。其中運動皮層(4區)是與運動直接相關的腦皮層，而前額葉皮層和后頂葉皮層一起是運動控制等級結構的最高層次。所以當前主流的基于運動想象的腦機接口研究很少僅使用前額葉的腦信號。目前還沒有一種在前額葉皮層、運動皮層和后頂葉皮層同步采集的腦電和其他模態信號聯合構成多模態腦機接口的方法。

發明內容

本發明所要解決的技術問題是提出一種基于近紅外和腦電多模態信號的腦機接口方法，以提高傳統基于腦電的腦機接口系統的精度。

為解決上述技術問題，本發明提出一種多模態信號的腦機接口方法，包括校準階段和識別階段，具體步驟如下：

步驟一、校準階段：

步驟1.1：多通道腦電采集系統和近紅外光學腦信號采集系統同時實時采集使用者在腦機接口校準階段任務執行過程中的多通道腦電和近紅外光學腦信號；在此校準階段，被試根據提示完成左側或右側身體部位的運動想象任務；

步驟1.2：對多通道腦電信號和近紅外光學腦信號分別進行預處理；腦電信號的預處理方法為：降頻，帶通濾波，去除眼電和運動偽跡；近紅外光學腦信號的預處理方法為：降頻，低通濾波，根據修正的Beer-Lambert定律，將其轉換為含氧血紅蛋白濃度變化值Δ[HbO₂]和去氧血紅蛋白濃度變化值Δ[Hb]；

步驟1.3：用t秒長度的時間窗分別對步驟1.2所得腦電信號、Δ[HbO₂]和Δ[Hb]進行分段，并進行特征提取，t的取值可以根據需要從1秒取到單個任務持續的總時間長度；具體如下：

(1)在左側或右側身體部位想象條件下的數據片段分別用矩陣X_i(i＝1，2)來表示，X_i的行數為采樣通道數，列數為采樣點數；計算X_i空間協方差矩陣：其中X_i'表示X_i的轉置矩陣，trance(X_iX_i')表示X_iX_i'的跡，即對角線元素的和；

(2)計算上述兩類條件下所有訓練數據片段的平均空間協方差矩陣和以及混合空間協方差矩陣

(3)C_C分解為C_C＝U_Cλ_CU_C'，其中U_C是C_C的特征向量矩陣，λ_C是由特征值組成的對角矩陣；