[發明專利]基于視線跟蹤的增強現實交互方法和裝置

在審

• 申請號: 201710972961.2
• 申請日: 2017-10-18
• 公開（公告）號: CN109683701A
• 公開（公告）日: 2019-04-26
• 發明（設計）人: 李煒;孫其民
• 申請（專利權）人: 深圳市掌網科技股份有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 深圳翼盛智成知識產權事務所(普通合伙) 44300
• 代理人: 黃威

本發明實施例公開了一種基于視線跟蹤的增強現實交互方法和裝置。所述方法包括：獲取當前場景對應的場景圖像，獲取用戶頭部的方位信息，頭部方位信息包括用戶的頭部高度信息以及頭部偏轉角度信息，根據頭部方位信息確定場景圖像當中的目標圖像，獲取用戶眼睛的視線信息，并根據視線信息確定目標圖像當中的目標對象，獲取目標對象對應的虛擬增強信息，并將虛擬增強信息疊加至場景圖像當中的相應位置。本申請利用用戶的頭部方位以及視線信息完成感光區域的目標選取，通過計算機的三維數字重建，將用戶看到的真實場景與虛擬增強信息融合，從而提升增強現實的交互性。

技術領域

本發明涉及增強現實技術領域，尤其涉及一種基于視線跟蹤的增強現實交互方法和裝置。

背景技術

AR(Augmented Reality，增強現實)是一種將真實世界信息和虛擬世界信息“無縫”集成的新技術，是把原本在現實世界的一定時間空間范圍內很難體驗到的實體信息(視覺信息、聲音、味道、觸覺等)通過電腦等科學技術，模擬仿真后，把真實的環境和虛擬的物體實時地疊加到了同一個畫面或空間同時存在，將虛擬的信息應用到真實世界，被人類感官所感知，從而達到超越現實的感官體驗。增強現實技術，不僅展現了真實世界的信息，而且將虛擬的信息同時顯示出來，兩種信息充、疊加。

目前國內外研究人員采用的三維注冊方法無論是基于方位跟蹤設備，基于計算機視覺，還是基于視覺—方位跟蹤器混合跟蹤，都是通過跟蹤用戶頭部方位，獲取頭部位置信息的變化來實現虛實信息的疊加。視覺通道是人類與外部環境之間最重要的信息接口，人在增強信息空間中活動除了頭部運動外，眼睛也在轉動，以頭部位置去近似視線方向，不考慮人眼運動，導致虛擬信息在真實空間中顯示位置的誤差較大。

發明內容

本發明實施例提供一種基于視線跟蹤的增強現實交互方法和裝置，可以將用戶看到的真實場景與虛擬增強信息融合，從而提升增強現實的交互性。

本發明實施例提供了一種基于視線跟蹤的增強現實交互方法，包括：

獲取當前場景對應的場景圖像；

獲取用戶頭部的方位信息，所述頭部方位信息包括用戶的頭部高度信息以及頭部偏轉角度信息；

根據所述頭部方位信息確定所述場景圖像當中的目標圖像；

獲取用戶眼睛的視線信息，并根據所述視線信息確定所述目標圖像當中的目標對象；

獲取所述目標對象對應的虛擬增強信息，并將所述虛擬增強信息疊加至所述場景圖像當中的相應位置。

相應地，本發明實施例還提供一種基于視線跟蹤的增強現實交互裝置，包括：場景獲取模塊、方位獲取模塊、圖像確定模塊、視線獲取模塊、對象確定模塊以及增強模塊；

所述場景獲取模塊，用于獲取當前場景對應的場景圖像；

所述方位獲取模塊，用于獲取用戶頭部的方位信息，所述頭部方位信息包括用戶的頭部高度信息以及頭部偏轉角度信息；

所述圖像確定模塊，用于根據所述頭部方位信息確定所述場景圖像當中的目標圖像；

所述視線獲取模塊，用于獲取用戶眼睛的視線信息；

所述對象確定模塊，用于根據所述視線信息確定所述目標圖像當中的目標對象；

所述增強模塊，用于獲取所述目標對象對應的虛擬增強信息，并將所述虛擬增強信息疊加至所述場景圖像當中的相應位置。

本發明實施例提供的基于視線跟蹤的增強現實交互方法和裝置，利用用戶的頭部方位以及視線信息完成感光區域的目標選取，通過計算機的三維數字重建，將用戶看到的真實場景與虛擬增強信息融合，從而提升增強現實的交互性。

附圖說明