[發(fā)明專利]基于視線跟蹤的增強(qiáng)現(xiàn)實(shí)交互方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201710972961.2
• 申請(qǐng)日: 2017-10-18
• 公開(kāi)（公告）號(hào): CN109683701A
• 公開(kāi)（公告）日: 2019-04-26
• 發(fā)明（設(shè)計(jì)）人: 李煒;孫其民
• 申請(qǐng)（專利權(quán)）人: 深圳市掌網(wǎng)科技股份有限公司
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01
• 代理公司: 深圳翼盛智成知識(shí)產(chǎn)權(quán)事務(wù)所(普通合伙) 44300
• 代理人: 黃威

1.一種基于視線跟蹤的增強(qiáng)現(xiàn)實(shí)交互方法，其特征在于，包括：

獲取當(dāng)前場(chǎng)景對(duì)應(yīng)的場(chǎng)景圖像；

獲取用戶頭部的方位信息，所述頭部方位信息包括用戶的頭部高度信息以及頭部偏轉(zhuǎn)角度信息；

根據(jù)所述頭部方位信息確定所述場(chǎng)景圖像當(dāng)中的目標(biāo)圖像；

獲取用戶眼睛的視線信息，并根據(jù)所述視線信息確定所述目標(biāo)圖像當(dāng)中的目標(biāo)對(duì)象；

獲取所述目標(biāo)對(duì)象對(duì)應(yīng)的虛擬增強(qiáng)信息，并將所述虛擬增強(qiáng)信息疊加至所述場(chǎng)景圖像當(dāng)中的相應(yīng)位置。

2.如權(quán)利要求1所述的基于視線跟蹤的增強(qiáng)現(xiàn)實(shí)交互方法，其特征在于，所述獲取用戶眼睛的視線信息的步驟具體包括：

向用戶的眼球發(fā)射紅外光線，并接收經(jīng)所述眼球反射的反射紅外光線；

根據(jù)所述反射紅外光線生成所述眼球的圖像；

根據(jù)所述眼球圖像計(jì)算所述用戶的視線信息，所述視線信息包括用戶眼球的焦點(diǎn)位置。

3.如權(quán)利要求2所述的基于視線跟蹤的增強(qiáng)現(xiàn)實(shí)交互方法，其特征在于，在接收經(jīng)所述眼球反射的反射紅外光線的步驟之后，所述方法還包括：

對(duì)所述反射紅外光線進(jìn)行分光以及過(guò)濾處理；

根據(jù)處理后的反射紅外光線生成所述眼球的圖像。

4.如權(quán)利要求1所述的基于視線跟蹤的增強(qiáng)現(xiàn)實(shí)交互方法，其特征在于，在獲取當(dāng)前場(chǎng)景對(duì)應(yīng)的場(chǎng)景圖像的步驟之后，所述方法還包括：

根據(jù)所述場(chǎng)景圖像建立當(dāng)前場(chǎng)景的三維模型；

根據(jù)所述視線信息確定所述目標(biāo)圖像當(dāng)中的目標(biāo)對(duì)象的步驟具體包括：

根據(jù)所述視線信息確定用戶眼球的焦點(diǎn)在真實(shí)場(chǎng)景中的坐標(biāo)信息；

將所述坐標(biāo)信息與所述當(dāng)前場(chǎng)景的三維模型相結(jié)合，以確定所述目標(biāo)圖像當(dāng)中的目標(biāo)對(duì)象。

5.如權(quán)利要求1所述的基于視線跟蹤的增強(qiáng)現(xiàn)實(shí)交互方法，其特征在于，在將所述虛擬增強(qiáng)信息疊加至所述場(chǎng)景圖像當(dāng)中的相應(yīng)位置的步驟之后，所述方法還包括：

實(shí)時(shí)獲取用戶的動(dòng)態(tài)信息，所述實(shí)時(shí)動(dòng)態(tài)信息包括用戶的頭部的方位信息以及眼睛的視線信息，當(dāng)所述動(dòng)態(tài)信息發(fā)生變化時(shí)，根據(jù)所述動(dòng)態(tài)信息更新所述虛擬增強(qiáng)信息在所述場(chǎng)景圖像當(dāng)中的位置。

6.一種基于視線跟蹤的增強(qiáng)現(xiàn)實(shí)交互裝置，其特征在于，包括：場(chǎng)景獲取模塊、方位獲取模塊、圖像確定模塊、視線獲取模塊、對(duì)象確定模塊以及增強(qiáng)模塊；

所述場(chǎng)景獲取模塊，用于獲取當(dāng)前場(chǎng)景對(duì)應(yīng)的場(chǎng)景圖像；

所述方位獲取模塊，用于獲取用戶頭部的方位信息，所述頭部方位信息包括用戶的頭部高度信息以及頭部偏轉(zhuǎn)角度信息；

所述圖像確定模塊，用于根據(jù)所述頭部方位信息確定所述場(chǎng)景圖像當(dāng)中的目標(biāo)圖像；

所述視線獲取模塊，用于獲取用戶眼睛的視線信息；

所述對(duì)象確定模塊，用于根據(jù)所述視線信息確定所述目標(biāo)圖像當(dāng)中的目標(biāo)對(duì)象；

所述增強(qiáng)模塊，用于獲取所述目標(biāo)對(duì)象對(duì)應(yīng)的虛擬增強(qiáng)信息，并將所述虛擬增強(qiáng)信息疊加至所述場(chǎng)景圖像當(dāng)中的相應(yīng)位置。

7.如權(quán)利要求6所述的基于視線跟蹤的增強(qiáng)現(xiàn)實(shí)交互裝置，其特征在于，所述視線獲取模塊具體包括：紅外收發(fā)子模塊、圖像生成子模塊、計(jì)算子模塊；

所述紅外收發(fā)子模塊，用于向用戶的眼球發(fā)射紅外光線，并接收經(jīng)所述眼球反射的反射紅外光線；

所述圖像生成子模塊，用于根據(jù)所述反射紅外光線生成所述眼球的圖像；

所述計(jì)算子模塊，用于根據(jù)所述眼球圖像計(jì)算所述用戶的視線信息，所述視線信息包括用戶眼球的焦點(diǎn)位置。

8.如權(quán)利要求7所述的基于視線跟蹤的增強(qiáng)現(xiàn)實(shí)交互裝置，其特征在于，所述視線獲取模塊還具體包括：處理子模塊；

所述處理子模塊，用于在所述紅外收發(fā)子模塊接收經(jīng)所述眼球反射的反射紅外光線之后，對(duì)所述反射紅外光線進(jìn)行分光以及過(guò)濾處理；

所述圖像生成子模塊，具體用于根據(jù)處理后的反射紅外光線生成所述眼球的圖像。