[發明專利]聯合眼動和腦機接口的可穿戴式增強現實機器人控制系統

在審

• 申請號: 201910524880.5
• 申請日: 2019-06-18
• 公開（公告）號: CN110442232A
• 公開（公告）日: 2019-11-12
• 發明（設計）人: 印二威;謝良;鄧徐韜;劉璇恒;鄧寶松;閆野
• 申請（專利權）人: 中國人民解放軍軍事科學院國防科技創新研究院;天津（濱海）人工智能軍民融合創新中心
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 劉廣達

本發明公開一種聯合眼動和腦機接口的可穿戴式增強現實機器人控制系統，能夠應用到人機交互、機器人控制等領域。該系統由增強現實眼鏡、眼動模塊、腦機接口模塊以及控制模塊構成，增強現實眼鏡用來提供眼動和腦機接口的交互界面；眼動模塊采集人員眼動信息；腦機接口采集人員腦電信息；控制模塊將二者采集的信息聯合輸入到神經網絡模型中，用來綜合預測人員的控制意圖，獲得人員控制指令。利用本發明系統，能夠快速地應對多個機器人操作指令的選擇，為機器人提供魯棒精確的增強現實控制技術，能夠適應多種應用場景。

技術領域

本發明涉及人機交互、增強現實、腦機接口等領域，尤其涉及到一種聯合眼動和腦機接口的可穿戴式增強現實機器人控制系統。

背景技術

增強現實眼鏡是下一代智能終端的代表，相對于個人計算機、智能手機等終端，增強現實眼鏡展示的信息更豐富更立體更便捷；另一方面，隨著機器人的不斷發展，機器人將融入到人類生活工作的各個方面，因此設計適用于可穿戴式增強現實交互的機器人控制系統是目前人機交互領域的熱點研究問題。眼動交互和腦機接口交互是可穿戴式增強現實系統的關鍵交互模式，類似于電腦的鼠標鍵盤、智能手機的觸屏，因為眼動交互和腦機接口交互是人員最自然的交互模式，也是最適應于可穿戴式增強現實系統交互模式。

當前眼動交互和腦機接口交互各有優缺點。其中眼動交互的優點是交互自然，人員無需多余操作即可在增強現實設備內進行多種操作，但當前眼動交互的精度較低，特別是在人員調整增強現實設備后，眼動交互只能定位到局部區域，而不能精確定位到交互點。腦機接口作為新興的交互模式，隨著腦電設備的不斷發展，腦機接口能夠精確捕獲人員對特定頻率視覺刺激的反應，在特定頻率按鈕選擇交互過程中精確度較高，但是腦機接口目前所能應對的選擇頻率個數較少，難以推廣到復雜應用場景。

發明內容

本發明的目的是通過以下技術方案實現的。

本發明正是從眼動和腦機接口的優缺點出發，將二者進行聯合應用，使得二者的優缺點能夠進行互補，即用眼動的多操作選擇性，彌補腦機接口無法應對復雜場景的缺點；用腦機接口的精確性，彌補眼動的精度較低的缺點。其次本發明設計融合控制系統，將眼動信息和腦電信號融合輸入到神經網絡模型中，進行人員控制意圖預測，而不是將眼動信息和腦電信號進行分開處理，本發明能夠為可穿戴式增強現實機器人控制系統提供魯棒精確的解決方案。

根據本發明的第一個方面，提供了一種聯合眼動和腦機接口的可穿戴式增強現實機器人控制系統，包括：可穿戴式增強現實眼鏡，用于顯示控制界面；眼動模塊，用于采集獲得人員眼動圖像信息；腦機接口模塊，用于采集獲得人員腦電信息；控制模塊，用于將所述眼動圖像信息和腦電信號聯合輸入到深度神經網絡模型中，預測人員控制意圖，生成機器人控制指令。

優選的，所述顯示控制界面包括以下操作：前進、后退、左轉、右轉、加速、減速、機器人自動相機圖像展示按鍵。

優選的，所述眼動模塊采用Pupil眼動儀，固連在可穿戴式增強現實眼鏡上。

優選的，所述腦機接口模塊采用SSVEP腦電接口設備，獲得人員對特定閃爍刺激的腦電信號。

優選的，所述眼動圖像和腦電信號分別經過不同神經網絡通道，獲得各自的特征信息；通過特征融合層進行多模態特征融合；并進一步在融合特征的基礎上進行神經網絡高階特征提取；最后結合特征分類層進行控制意圖預測。

優選的，所述眼動圖像信息包括眼睛圖像以及眼動圖像特征信息。

優選的，所述腦電信息包括腦電信號矩陣以及腦電特征信息。