[發明專利]一種基于多模態腦機交互技術的虛擬沙盤交互控制系統

有效

• 申請號: 201810541927.4
• 申請日: 2018-05-30
• 公開（公告）號: CN108829245B
• 公開（公告）日: 2019-08-23
• 發明（設計）人: 鄧寶松;印二威;曹璐;黃昊;鹿迎;李靖;閆野
• 申請（專利權）人: 中國人民解放軍軍事科學院國防科技創新研究院
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06T19/00;G06T19/20
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 劉廣達

本發明公開了一種基于多模態腦機交互技術的虛擬沙盤交互控制系統。該系統包括腦電模塊、肌電模塊、眼動模塊、控制模塊和顯示模塊，所述控制模塊分別連接腦電模塊、肌電模塊、眼動模塊、顯示模塊，所述腦電模塊連接肌電模塊。腦電模塊將用戶注視疊加在虛擬沙盤控制菜單上并將控制命令發送給控制模塊，肌電模塊將連續控制指令發送至控制模塊，眼動模塊將用戶注視方向坐標發送至控制模塊，控制模塊將數字沙盤更新內容發送至顯示模塊，顯示模塊顯示虛擬沙盤和用戶視線注視點，并在虛擬沙盤控制菜單上疊加不同頻率編碼的定頻視覺刺激。本發明基于腦?機接口與眼動儀相結合的多模態腦機交互方法實現控制菜單的功能鍵選擇，目標選擇性能更加穩定，適用于多種應用場景。

技術領域

本發明主要涉及到腦-機接口與虛擬現實技術領域，特別涉及一種基于多模態腦機交互技術的虛擬沙盤控制系統。

背景技術

沙盤模型是按特定比例尺度對一定空間區域內地形、地貌、地物的縮放直觀表達，被廣泛應用于城市規劃設計、環境治理、建筑設計和農業規劃等多個領域，用來展現其獨特的區位特點。隨著相關技術的成熟，沙盤也向著功能多樣化、智能化、個性化的方向發展。其中，虛擬沙盤是一種利用電子地圖可視化和三維虛擬仿真技術構建的沉浸式地理空間交互呈現系統。相比于傳統的沙盤模型，虛擬沙盤可以實現地物與人實時聯動交互，電子地圖多樣化顯示，三維場景影像多角度瀏覽，更具真實性、準確性、動態性和便捷性等優勢。由于虛擬現實技術的介入，傳統的按鍵、鼠標等交互方式在虛擬沙盤的操控中并不適應。目前，虛擬沙盤通常通過頭動和手勢等方式進行控制，交互效率較低，大大影響其系統性能和用戶體驗。

腦-機接口技術可以直接通過檢測大腦神經活動來識別人的意圖，并將其轉換成計算機控制指令，從而實現人腦對外部設備操作控制，是一種新型的人機交互控制技術。自從20世紀70年代被提出以來，隨著相關學科的快速發展，腦-機接口的技術和理論研究已經取得了長足的進展，并已經在醫療康復、裝備研發、娛樂游戲等領域有著廣泛的應用前景，其重要的科學研究價值和廣泛的應用前景受到國內外學者和高科技公司的廣泛關注。近年來，基于穩態視覺誘發電位(Steady-state Visually Evoked Potential,SSVEP)的腦-機接口技術已經達到了較高水平，并已用于字符輸入、網頁瀏覽，以及機械臂和輪椅控制等腦控技術的研究。其中，SSVEP通過施加定頻閃爍的視覺刺激誘發產生。在刺激過程中，用戶通過注視以某特定頻率閃爍的字符模塊，使其頭部枕區(初級視皮層)腦電信號產生與刺激頻率相對應的特征電位。系統通過對腦電信號頻域成分的辨識來反推出視覺刺激的頻率，進而確定用戶所注視的目標位置。雖然基于SSVEP的腦-機接口技術研究已經取得了一定的突破，但是由于可選命令數和刺激所致視覺疲勞的限制，極大地制約了其在實際系統中的應用。

在對傳統通信控制系統的研究中，我們不難發現對多模態互補信息的合理利用往往可以實現系統綜合性能的明顯提升。Pfurtscheller和Allison等人于2010年首次提出了一種新的腦-機接口研究方法與路線，稱之為多模態腦機交互技術。多模態腦機交互技術理論為人機交互技術的研究提供了一種新的思路。隨后，Allison等人將人體非腦源生理信號(如肌電信號)以及微動作信號(如眼動信號)引入到了多模態腦機交互的定義中，形成了廣義的多模態腦機交互理論。

為了研制可用于實際應用環境中的虛擬沙盤交互控制系統，達到系統舒適可靠的實用化標準，亟需發展新的人機交互技術。據我們所知，至今還未見基于多模態腦機交互技術的虛擬沙盤交互控制方法的相關報道。

發明內容

針對現有技術存在的技術問題，本發明提供一種結構簡單、操作簡便、可提高操控速度并能夠提高操控可靠性、精確性的基于多模態腦機交互技術的虛擬沙盤交互控制系統。

一種基于多模態腦機交互技術的虛擬沙盤交互控制系統，包括腦電模塊、肌電模塊、眼動模塊、控制模塊和顯示模塊，控制模塊分別連接腦電模塊、肌電模塊、眼動模塊、顯示模塊。