[發明專利]一種基于多模人機傳感信息同步采集與融合的控制方法

有效

• 申請號: 201811326796.4
• 申請日: 2018-11-08
• 公開（公告）號: CN109634407B
• 公開（公告）日: 2022-03-04
• 發明（設計）人: 代京;王振亞;陽佳;王琳娜;程奇峰;袁本立;李旗挺;宋盛菊;雍穎瓊;劉冬;杜立超;張宏江;趙大海;劉岱;楊玉堃
• 申請（專利權）人: 中國運載火箭技術研究院
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/62
• 代理公司: 中國航天科技專利中心 11009
• 代理人: 張麗娜

本發明涉及人機混合智能交互控制領域，特別涉及一種基于多模態腦眼信息融合的移動式同步采集與融合的控制方法。針對人體生理信息采集要求，利用視覺跟蹤與腦機接口技術，采集人體的視覺和意識信號，作為多模態信息通道的輸入；開發基于數字頭盔的增強現實環境，設計基于事件觸發的集成采樣接口，實現信息流的移動式同步采集與輸出；利用ReliefF評估和誘導有序信息集結算子，實現人體生理信息在特征層和權重層的融合；在數字頭盔集成條件下，實現多模信息狀態下對被控對象的對指令集協同控制。本發明解決了現有技術中存在的人機交互信息表征魯棒性、穩定性不足的問題。

技術領域

本發明涉及人機混合智能交互控制領域，特別涉及一種基于多模態腦眼信息融合的移動式同步采集與融合的控制方法。

背景技術

多模態新型交互的特點是基于智能接口技術，充分利用人的多種感知通道，以并行的、自然的方式與計算機系統進行交互，從而提升人機交互的拓展性和增益性，其核心在于不同交互模態之間的有機整合。近年來，國外研究機構在相關領域進行了廣泛探索。多通道界面已經被用在許多應用程序，包括使用地圖的模擬、信息亭、ATT的MATCHKiosk和生物認證系統等。2012年4月，谷歌公司發布了“拓展現實”眼鏡，將物理操作模塊和眼動控制、語音控制相結合，可以通過聲音控制拍照，視頻通話、處理文字信息和電子郵件等，并通過眼睛對各種功能進行選擇；2014年巴西足球世界杯開幕式上，一位下肢殘疾的巴西青年在腦機接口技術的幫助下，用自己的腦電控制一套下肢外骨骼踢出了第一腳球，成為新型人機交互模式的典型案例；微軟開發的Kinect傳感設備能夠將操作者的語音、手勢動作等信息進行融合識別，進行多范式的集成控制，在體感游戲等領域得到了成功應用；多模態人機交互接口還可以幫助殘疾用戶利用聲音和頭部運動來操作機器，頭部位置表示在當前時刻的坐標位置，并通過對話提供由光標選擇的對象必須執行的動作含義；卡爾斯魯厄大學和哈佛醫學院在輔助醫療方面，將力信號、視覺信號和物理控制相結合，致力于開發適用于神經外科手術機器人的新型人機交互系統。

發明內容

本發明的技術解決問題是：克服現有技術的不足，提出一種基于多模人機傳感信息同步采集與融合的控制方法，該方法的核心在于建立穩定的交互通道，并對信息流進行同步采集和處理，利用信息之間的互相補充，減少人機交互過程中單通道信息感知和控制可能存在的理解性不強、魯棒性不足等問題，實現異源人機交互信息的優化決策。

本發明的技術解決方案是：

一種基于多模人機傳感信息同步采集與融合的控制方法，該方法的步驟包括：

第一步，視覺控制信息的采集過程為：

(11)利用視覺紅外檢測設備獲取眼球的運動圖像；

(12)利用三通道差分粒子濾波對步驟(11)得到的運動圖像進行處理，提取眼球的運動角度和距離特征；

(13)對步驟(12)提取的眼球的運動角度和距離特征進行解算，得到待控制目標在視覺范圍內的三維坐標；

第二步，腦機接口控制信息的采集過程為：

(21)建立不同頻率的穩態視覺誘發刺激生成平臺，刺激生成能夠檢測的腦電信號；

(22)通過腦電放大器提取步驟(21)檢測到的腦電信號；

(23)利用相關性分析的方法對步驟(22)提取到的腦電信號進行特征提取，得到能夠用于模式分類的特征向量，并建立訓練模板；

第三步，視覺控制信息和腦機接口控制信息的融合過程為：

(31)對眼球的運動角度進行歸一化處理，對特征向量進行歸一化處理，得到具有相同量綱的待融合數據特征向量；

(32)對步驟(31)得到的待融合數據特征向量進行二次采樣，以獲取時間流一致的待融合數據特征向量；