[發(fā)明專利]一種假手柔順抓取操作的串行多模態(tài)腦控方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201510988443.0
• 申請(qǐng)日: 2015-12-24
• 公開（公告）號(hào): CN105708586A
• 公開（公告）日: 2016-06-29
• 發(fā)明（設(shè)計(jì)）人: 張小棟;李睿;賴知法;張黎明;陸竹風(fēng);劉暢;馬偉光;尹貴
• 申請(qǐng)（專利權(quán)）人: 西安交通大學(xué)
• 主分類號(hào): A61F2/72
• 分類號(hào): A61F2/72
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 徐文權(quán)

技術(shù)領(lǐng)域

本發(fā)明涉及智能機(jī)器人領(lǐng)域，具體涉及一種假手柔順抓取操作的串行多模態(tài)腦控方法。

背景技術(shù)

腦-機(jī)接口技術(shù)建立了腦電信號(hào)與計(jì)算機(jī)兩者間的直接聯(lián)系，隨著國內(nèi)外腦-機(jī)接口技術(shù)的不斷發(fā)展，腦控技術(shù)這一新概念應(yīng)運(yùn)而生。“腦控”技術(shù)是以腦-機(jī)接口技術(shù)為基礎(chǔ)，通過提取人或動(dòng)物的腦皮層產(chǎn)生的EEG信號(hào)，來推測大腦的思維活動(dòng)，并將之翻譯成相應(yīng)的命令來控制外圍的計(jì)算機(jī)或其它機(jī)電設(shè)備，以實(shí)現(xiàn)對(duì)人或動(dòng)物的外圍設(shè)備的意念控制。

混合腦控技術(shù)是在傳統(tǒng)腦控技術(shù)的基礎(chǔ)上提出的新研究方向，它在單一腦控系統(tǒng)的基礎(chǔ)上，加入新的生理電信號(hào)，從而得到混合腦控系統(tǒng)。其中，新的生理電信號(hào)包括眼電、心電、血流變換等信號(hào)模式。混合腦控方法根據(jù)其控制順序的不同可分為串行控制模式和并行控制模式，其中，基于串行模式的混合腦控方法可以實(shí)現(xiàn)兩種腦電信號(hào)的協(xié)同控制，增加其控制目標(biāo)，在提升系統(tǒng)可靠性的同時(shí)，減少了系統(tǒng)的誤操作。

目前，混合腦控技術(shù)在殘疾人神經(jīng)功能輔助方面的研究尚處于起步階段，尤其是在腦控假手技術(shù)方面。專利CN201110196026.4公開了一種基于多模態(tài)腦機(jī)接口的智能輪椅的控制系統(tǒng)，專利CN201110268891.5公開了一種多模態(tài)腦機(jī)接口的自動(dòng)車控制方法，上述發(fā)明專利均未涉及到假手的多模態(tài)混合腦控方法。基于此，本發(fā)明提出了一種假手柔順抓取操作過程的串行多模態(tài)腦控方法與裝置，以解決假手柔順抓取操作過程中腦控系統(tǒng)的連續(xù)性、準(zhǔn)確性以及可靠性等關(guān)鍵問題。

發(fā)明內(nèi)容

本發(fā)明針對(duì)現(xiàn)有腦電信號(hào)控制假手方法的基礎(chǔ)上，以提高假手柔順抓取操作過程中腦控系統(tǒng)的正確率為目的，提供了一種假手柔順抓取操作的串行多模態(tài)腦控方法。

為達(dá)到以上目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：

一種假手柔順抓取操作的串行多模態(tài)腦控方法，包括下述步驟：

1、事先在場景動(dòng)畫視覺誘發(fā)模塊中植入基于殘疾人手喝水過程分解的四個(gè)具有連續(xù)性的動(dòng)作場景圖像，每一個(gè)動(dòng)作場景圖像經(jīng)過灰度處理后，分別得到兩張黑白分明的反轉(zhuǎn)色圖片，交替變化呈現(xiàn)在受試者面前進(jìn)行視覺誘發(fā)；其中，不同動(dòng)作場景中的反轉(zhuǎn)色圖片采用不同頻率的脈寬調(diào)制。所述兩張黑白分明的反轉(zhuǎn)色圖片交替變化的頻率，也即閃爍頻率與該組圖片的脈寬調(diào)制頻率相同，所述脈寬頻率調(diào)制范圍為2-30Hz。

所述的場景動(dòng)畫視覺誘發(fā)模塊為計(jì)算機(jī)顯示器、電視屏幕、手機(jī)或平板電腦之一。

2、受試者通過四種主動(dòng)表情驅(qū)動(dòng)下產(chǎn)生的腦電信號(hào)來控制假手完成動(dòng)作的開始、動(dòng)作的結(jié)束、返回上一個(gè)動(dòng)作、及進(jìn)入下一個(gè)動(dòng)作的基本動(dòng)作類型選擇；

所述提眉對(duì)應(yīng)于假手動(dòng)作的開始、皺眉對(duì)應(yīng)于假手動(dòng)作的結(jié)束、左撇嘴對(duì)應(yīng)于假手返回上一個(gè)動(dòng)作的轉(zhuǎn)換、右撇嘴對(duì)應(yīng)于假手進(jìn)行下一個(gè)動(dòng)作的轉(zhuǎn)換。

四種主動(dòng)表情驅(qū)動(dòng)分別為提眉、皺眉、左撇嘴、右撇嘴，每種表情在驅(qū)動(dòng)過程中至少重復(fù)三次；

3、受試者通過注視四個(gè)不同場景動(dòng)畫視覺誘發(fā)畫面來控制假手完成四種基本動(dòng)作過程；

4、采集受試者側(cè)額葉皮質(zhì)區(qū)F7、F8通道和枕葉區(qū)的O1、O2通道腦電信號(hào)；

5、對(duì)采集到的腦電信號(hào)進(jìn)行放大和帶通濾波預(yù)處理，所述濾波范圍為4-40Hz；

6、經(jīng)帶通濾波后的腦電信號(hào)包含由主動(dòng)表情驅(qū)動(dòng)下產(chǎn)生的alpha頻帶特征信息以及由場景動(dòng)畫視覺誘發(fā)畫面產(chǎn)生的穩(wěn)態(tài)視覺誘發(fā)電位特征信息。采用小波變換模均值的方法提取由主動(dòng)表情驅(qū)動(dòng)產(chǎn)生的F7、F8通道腦電信號(hào)時(shí)頻域特征，采用快速傅里葉變換的方法提取場景動(dòng)畫視覺誘發(fā)產(chǎn)生的O1、O2通道腦電信號(hào)時(shí)頻域特征。

7、根據(jù)時(shí)頻域特征值，采用前向反饋神經(jīng)網(wǎng)絡(luò)算法，通過串行分析的順序依次判斷假手的四個(gè)基本動(dòng)作類型及四個(gè)基本動(dòng)作過程。

所述的串行分析順序?yàn)槭紫冗M(jìn)行由主動(dòng)表情驅(qū)動(dòng)下產(chǎn)生的腦電信號(hào)時(shí)頻域特征判斷假手的基本動(dòng)作類型；在確定了假手的基本動(dòng)作類型后，進(jìn)行由場景動(dòng)視覺誘發(fā)畫面產(chǎn)生的腦電信號(hào)時(shí)頻域特征，判斷假手的基本動(dòng)作過程。

8、假手控制器根據(jù)步驟7的判斷結(jié)果控制假手完成基本動(dòng)作類型或基本動(dòng)作過程。

本發(fā)明針對(duì)傳統(tǒng)單一范式下腦電信號(hào)控制假手，其優(yōu)越性在于：

1、本發(fā)明采用的串行多模態(tài)腦控方法，可有效提高假手腦控系統(tǒng)的信息傳輸率與準(zhǔn)確性，降低了整個(gè)系統(tǒng)的誤操作率，實(shí)現(xiàn)假手完整抓取動(dòng)作的柔順控制。