[發明專利]一種眼動交互增強現實的相對導航方法

有效

• 申請號: 201910575447.4
• 申請日: 2019-06-28
• 公開（公告）號: CN110285818B
• 公開（公告）日: 2023-09-19
• 發明（設計）人: 方志祥;管昉立
• 申請（專利權）人: 武漢大學
• 主分類號: G01C21/32
• 分類號: G01C21/32;G01C21/36;G06F3/01;G06F16/29
• 代理公司: 湖北武漢永嘉專利代理有限公司 42102
• 代理人: 唐萬榮

1.一種眼動交互增強現實的相對導航方法，其特征在于，該方法基于增強現實技術以顯著地標相對關系為引導信號進行動態視覺導航，通過可穿戴式眼動儀與導航系統進行視覺交互；該方法包括以下步驟：

步驟1、提取導航路徑下的顯著地標及其POI坐標信息，顯著地標通過計算各個地標的顯著度來判定；

步驟2、根據設定的地標分類及標注模型，標注顯著地標并生成虛擬標簽，虛擬標簽包括顯著地標對應的分類圖標標簽和文字標簽；

步驟3、調用用戶即時姿態朝向信息、即時位置信息和顯著地標的POI坐標信息，利用相對方位計算模型計算顯著地標的即時相對方位屬性信息，并賦予虛擬標簽即時相對方位屬性信息；

步驟4、通過增強現實技術將顯著地標的虛擬標簽實時投影至以真實場景為背景的環境中，實現顯著地標虛擬標簽在現實場景中相對于用戶的相對方位映射；通過增強現實技術將導航路徑略縮圖、即時位置信息和即時方位信息投影至視覺導航系統的顯示環境，其中顯著地標的虛擬標簽位置與引導要素信息圖例為動態顯示，隨用戶的姿態變化而動態更新；

步驟5、通過可穿戴式眼動儀與導航系統進行導航過程的視覺交互，可穿戴式眼動儀能實現眼動軌跡跟蹤與數據采集，并與導航系統進行數據互聯傳輸指令，實現眼動交互；導航過程的視覺交互包括通過追蹤眼球動作指令進行導航過程的路徑方案選擇確定與返回，全局、局部路段的選擇確定與返回，路徑的局部放大與縮小，視角切換的操作；

步驟4中利用增強現實技術將顯著地標的虛擬標簽映射至以真實場景為背景的環境中，虛擬標簽包括導航前進方向可視路段內所有顯著地標的虛擬標簽，虛擬標簽的內容包括顯著地標的分類圖標標簽和文字標簽；通過增強現實技術將導航路徑略縮圖或全局路徑引導圖、即時位置信息和即時方位信息投影至視覺導航系統的顯示環境，包括導航路徑的縮略圖、全局路徑引導圖和局部路段的投影，用戶實時位置信息和姿態朝向信息的圖標、符號、標簽信息的投影；

步驟4的具體方法為：

步驟4.1、建立增強現實設備或全息投影設備與導航系統之間的無線連接；

步驟4.2、獲取用戶的即時位姿狀態，建立所需疊加的虛擬標簽和虛擬符號信息在投影環境中的相對位置關系，完成虛擬標簽和虛擬符號信息的三維注冊，完成虛實場景融合；

步驟4.3、借助增強現實設備或全息投影設備，將顯著地標的虛擬標簽和引導要素信息映射至投影環境中的對應位置，其中顯著地標的虛擬標簽位置與引導要素信息圖例隨用戶的姿態變化動態更新；

步驟5中眼動交互過程的眼球動作指令包括：

基礎眼動指令：

選擇，雙眼注視，通過雙眼注視完成目標選擇指令；

確認，連續兩次眨眼，通過連續兩次眨眼完成確認指令；

返回，單眼眨眼，單眼眨眼一次，眨眼時間為1±0.5S，完成返回指令；

眼動交互指令：

路徑選擇確認，注視目標路徑并連續兩次眨眼，導航路徑方案的選擇與確認，通過注視完成方案選擇，通過眨眼組合動作完成確認；

返回路徑選擇，單眼眨眼，方案選擇指令完成情況下的界面返回操作；

局部路段放大，注視并連續兩次眨眼，在全局路徑查看框中，局部路段的放大查看，通過注視小地圖中的目標路段完成選擇，通過眨眼組合動作完成局部放大操作；

局部路段縮小，注視并連續三次眨眼，局部路段放大查看狀態下的界面縮小操作，通過注視完成待縮小目標的選擇，通過眨眼組合動作完成縮小操作；

視角切換，注視虛擬按鈕并連續兩次眨眼，通過注視和眨眼組合操作完成導航視角切換操作；

步驟5的具體方法為：

步驟5.1、建立便攜式可穿戴眼動儀與導航系統之間的無線連接，并根據信號傳輸協議建立眼動追蹤輸出信號與導航系統輸入信號之間的信號傳輸通道；

步驟5.2、定義眼動追蹤信號與導航系統之間的數據傳輸和指令控制規則，設計導航任務相關操作的人機眼動交互動作指令；

步驟5.3、為不同用戶進行眼球追蹤校準并建立參數檔案；

步驟5.4、根據定義的導航眼動指令，以及眼動交互的具體操作，控制導航系統進行操作，具體操作包括導航路徑方案的選擇確定與返回，全局、局部路段的選擇確定與返回，路徑的局部放大與縮小，視角切換的操作；

步驟1中顯著地標的顯著度由該地標的視覺顯著度、語義顯著度和結構顯著度融合計算獲得；顯著地標POI坐標信息包括經緯度坐標信息；

步驟1的具體方法為：

步驟1.1、提取導航路徑下的視覺顯著地標、語義顯著地標和結構顯著地標，并提取其對應的POI坐標信息；

步驟1.2、由地標顯著度計算模型計算地標的綜合顯著度，綜合顯著度由地標的視覺顯著度、語義顯著度和結構顯著度以不同的權值綜合計算獲得；其計算公式為：

其中，表示地標綜合顯著度，表示地標的視覺顯著度，表示視覺顯著度的權值；表示地標的語義顯著度，表示語義顯著度的權值；表示地標的結構顯著度，表示結構顯著度的權值。