[發(fā)明專利]聯(lián)合眼動(dòng)和腦機(jī)接口的可穿戴式增強(qiáng)現(xiàn)實(shí)機(jī)器人控制系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201910524880.5
• 申請(qǐng)日: 2019-06-18
• 公開（公告）號(hào): CN110442232A
• 公開（公告）日: 2019-11-12
• 發(fā)明（設(shè)計(jì)）人: 印二威;謝良;鄧徐韜;劉璇恒;鄧寶松;閆野
• 申請(qǐng)（專利權(quán)）人: 中國(guó)人民解放軍軍事科學(xué)院國(guó)防科技創(chuàng)新研究院;天津（濱海）人工智能軍民融合創(chuàng)新中心
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01
• 代理公司: 北京辰權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 11619
• 代理人: 劉廣達(dá)

1.一種聯(lián)合眼動(dòng)和腦機(jī)接口的可穿戴式增強(qiáng)現(xiàn)實(shí)機(jī)器人控制系統(tǒng)，其特征在于，包括：

可穿戴式增強(qiáng)現(xiàn)實(shí)眼鏡，用于顯示控制界面；

眼動(dòng)模塊，用于采集獲得人員眼動(dòng)圖像信息；

腦機(jī)接口模塊，用于采集獲得人員腦電信息；

控制模塊，用于將所述眼動(dòng)圖像信息和腦電信號(hào)聯(lián)合輸入到深度神經(jīng)網(wǎng)絡(luò)模型中，預(yù)測(cè)人員控制意圖，生成機(jī)器人控制指令。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于：

所述顯示控制界面包括以下操作：前進(jìn)、后退、左轉(zhuǎn)、右轉(zhuǎn)、加速、減速、機(jī)器人自動(dòng)相機(jī)圖像展示按鍵。

3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于：

所述眼動(dòng)模塊采用Pupil眼動(dòng)儀，固連在可穿戴式增強(qiáng)現(xiàn)實(shí)眼鏡上。

4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于：

所述腦機(jī)接口模塊采用SSVEP腦電接口設(shè)備，獲得人員對(duì)特定閃爍刺激的腦電信號(hào)。

5.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于：

所述眼動(dòng)圖像和腦電信號(hào)分別經(jīng)過不同神經(jīng)網(wǎng)絡(luò)通道，獲得各自的特征信息；通過特征融合層進(jìn)行多模態(tài)特征融合；并進(jìn)一步在融合特征的基礎(chǔ)上進(jìn)行神經(jīng)網(wǎng)絡(luò)高階特征提取；最后結(jié)合特征分類層進(jìn)行控制意圖預(yù)測(cè)。

6.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于：

所述眼動(dòng)圖像信息包括眼睛圖像以及眼動(dòng)圖像特征信息。

7.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于：

所述腦電信息包括腦電信號(hào)矩陣以及腦電特征信息。

8.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于：

所述將所述眼動(dòng)圖像信息和腦電信號(hào)聯(lián)合輸入到深度神經(jīng)網(wǎng)絡(luò)模型中，預(yù)測(cè)人員控制意圖，包括：

通過圖像卷積網(wǎng)絡(luò)提取眼動(dòng)圖像的特征，獲得圖像特征；通過時(shí)序網(wǎng)絡(luò)提取腦電信息的特征，獲得腦電時(shí)序信號(hào)特征；

利用融合層對(duì)所述圖像特征和腦電時(shí)序信號(hào)特征進(jìn)行特征融合，獲得融合特征；

對(duì)所述融合特征進(jìn)行神經(jīng)網(wǎng)絡(luò)特征提取，獲得高階信號(hào)特征；

結(jié)合所述高階信號(hào)特征和分類網(wǎng)絡(luò)層預(yù)測(cè)控制意圖。

9.一種聯(lián)合眼動(dòng)和腦機(jī)接口的可穿戴式增強(qiáng)現(xiàn)實(shí)機(jī)器人控制方法，其特征在于，包括：

使用可穿戴式增強(qiáng)現(xiàn)實(shí)眼鏡顯示控制界面；

使用眼動(dòng)模塊采集獲得人員眼動(dòng)圖像信息；

使用腦機(jī)接口模塊采集獲得人員腦電信息；

將所述眼動(dòng)圖像信息和腦電信號(hào)聯(lián)合輸入到深度神經(jīng)網(wǎng)絡(luò)模型中，預(yù)測(cè)人員控制意圖，生成機(jī)器人控制指令，控制所述機(jī)器人。