[發明專利]基于視線跟蹤的增強現實交互方法和裝置

在審

• 申請號: 201710972961.2
• 申請日: 2017-10-18
• 公開（公告）號: CN109683701A
• 公開（公告）日: 2019-04-26
• 發明（設計）人: 李煒;孫其民
• 申請（專利權）人: 深圳市掌網科技股份有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 深圳翼盛智成知識產權事務所(普通合伙) 44300
• 代理人: 黃威

1.一種基于視線跟蹤的增強現實交互方法，其特征在于，包括：

獲取當前場景對應的場景圖像；

獲取用戶頭部的方位信息，所述頭部方位信息包括用戶的頭部高度信息以及頭部偏轉角度信息；

根據所述頭部方位信息確定所述場景圖像當中的目標圖像；

獲取用戶眼睛的視線信息，并根據所述視線信息確定所述目標圖像當中的目標對象；

獲取所述目標對象對應的虛擬增強信息，并將所述虛擬增強信息疊加至所述場景圖像當中的相應位置。

2.如權利要求1所述的基于視線跟蹤的增強現實交互方法，其特征在于，所述獲取用戶眼睛的視線信息的步驟具體包括：

向用戶的眼球發射紅外光線，并接收經所述眼球反射的反射紅外光線；

根據所述反射紅外光線生成所述眼球的圖像；

根據所述眼球圖像計算所述用戶的視線信息，所述視線信息包括用戶眼球的焦點位置。

3.如權利要求2所述的基于視線跟蹤的增強現實交互方法，其特征在于，在接收經所述眼球反射的反射紅外光線的步驟之后，所述方法還包括：

對所述反射紅外光線進行分光以及過濾處理；

根據處理后的反射紅外光線生成所述眼球的圖像。

4.如權利要求1所述的基于視線跟蹤的增強現實交互方法，其特征在于，在獲取當前場景對應的場景圖像的步驟之后，所述方法還包括：

根據所述場景圖像建立當前場景的三維模型；

根據所述視線信息確定所述目標圖像當中的目標對象的步驟具體包括：

根據所述視線信息確定用戶眼球的焦點在真實場景中的坐標信息；

將所述坐標信息與所述當前場景的三維模型相結合，以確定所述目標圖像當中的目標對象。

5.如權利要求1所述的基于視線跟蹤的增強現實交互方法，其特征在于，在將所述虛擬增強信息疊加至所述場景圖像當中的相應位置的步驟之后，所述方法還包括：

實時獲取用戶的動態信息，所述實時動態信息包括用戶的頭部的方位信息以及眼睛的視線信息，當所述動態信息發生變化時，根據所述動態信息更新所述虛擬增強信息在所述場景圖像當中的位置。

6.一種基于視線跟蹤的增強現實交互裝置，其特征在于，包括：場景獲取模塊、方位獲取模塊、圖像確定模塊、視線獲取模塊、對象確定模塊以及增強模塊；

所述場景獲取模塊，用于獲取當前場景對應的場景圖像；

所述方位獲取模塊，用于獲取用戶頭部的方位信息，所述頭部方位信息包括用戶的頭部高度信息以及頭部偏轉角度信息；

所述圖像確定模塊，用于根據所述頭部方位信息確定所述場景圖像當中的目標圖像；

所述視線獲取模塊，用于獲取用戶眼睛的視線信息；

所述對象確定模塊，用于根據所述視線信息確定所述目標圖像當中的目標對象；

所述增強模塊，用于獲取所述目標對象對應的虛擬增強信息，并將所述虛擬增強信息疊加至所述場景圖像當中的相應位置。

7.如權利要求6所述的基于視線跟蹤的增強現實交互裝置，其特征在于，所述視線獲取模塊具體包括：紅外收發子模塊、圖像生成子模塊、計算子模塊；

所述紅外收發子模塊，用于向用戶的眼球發射紅外光線，并接收經所述眼球反射的反射紅外光線；

所述圖像生成子模塊，用于根據所述反射紅外光線生成所述眼球的圖像；

所述計算子模塊，用于根據所述眼球圖像計算所述用戶的視線信息，所述視線信息包括用戶眼球的焦點位置。

8.如權利要求7所述的基于視線跟蹤的增強現實交互裝置，其特征在于，所述視線獲取模塊還具體包括：處理子模塊；

所述處理子模塊，用于在所述紅外收發子模塊接收經所述眼球反射的反射紅外光線之后，對所述反射紅外光線進行分光以及過濾處理；

所述圖像生成子模塊，具體用于根據處理后的反射紅外光線生成所述眼球的圖像。