[發(fā)明專利]眼睛跟蹤系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201780064399.1
• 申請日: 2017-10-20
• 公開（公告）號: CN109844610A
• 公開（公告）日: 2019-06-04
• 發(fā)明（設(shè)計(jì)）人: K·貝爾克納-西斯里克基;R·J·莫塔;林世焄;金民雄;齊藤賢一;B·佩特爾詹斯基;J·C·索爾斯;筱原義和
• 申請（專利權(quán)）人: 蘋果公司
• 主分類號: G02B27/01
• 分類號: G02B27/01;G06F3/01
• 代理公司: 北京市金杜律師事務(wù)所 11256
• 代理人: 王茂華;郭星

本發(fā)明題為“眼睛跟蹤系統(tǒng)”。本申請公開了一種用于檢測頭戴式顯示器(HMD)中用戶的眼睛的位置和運(yùn)動的眼睛跟蹤系統(tǒng)。眼睛跟蹤系統(tǒng)可包括至少一個(gè)近紅外(NIR)眼睛跟蹤相機(jī)，至少一個(gè)近紅外(NIR)眼睛跟蹤相機(jī)被定位在用戶的面部的每個(gè)側(cè)面處，并且指向HMD的目鏡的面向眼睛的表面；照射源，照射源朝向用戶的眼睛發(fā)射NIR光；以及熱鏡，熱鏡位于目鏡的面向眼睛的表面和用戶的眼睛之間。熱鏡反射NIR光的至少一部分，同時(shí)允許可見光經(jīng)過。相機(jī)捕獲由熱鏡反射的用戶的眼睛的圖像。將熱鏡定位在目鏡的面向眼睛的表面處或附近允許相機(jī)被放置在用戶的面部的側(cè)面處，而不必通過目鏡成像。

背景技術(shù)

虛擬現(xiàn)實(shí)(VR)允許用戶體驗(yàn)和/或與沉浸式人工環(huán)境進(jìn)行交互，使得用戶感覺他們好像身處于該環(huán)境中。例如，虛擬現(xiàn)實(shí)系統(tǒng)可向用戶顯示立體場景以產(chǎn)生深度錯(cuò)覺，并且計(jì)算機(jī)可實(shí)時(shí)調(diào)整場景內(nèi)容以提供用戶在場景內(nèi)移動的錯(cuò)覺。當(dāng)用戶通過虛擬現(xiàn)實(shí)系統(tǒng)觀看圖像時(shí)，用戶可因此感覺他們好像正從第一人稱視角在場景內(nèi)移動。類似地，混合現(xiàn)實(shí)(MR)將計(jì)算機(jī)生成的信息(稱為虛擬內(nèi)容)與現(xiàn)實(shí)世界圖像或現(xiàn)實(shí)世界視圖相結(jié)合，以增強(qiáng)或添加內(nèi)容到用戶的世界視圖。因此，可利用VR的模擬環(huán)境和/或MR的混合環(huán)境為多個(gè)應(yīng)用提供交互式用戶體驗(yàn)，諸如將虛擬內(nèi)容添加到觀看者的環(huán)境的實(shí)時(shí)視圖的應(yīng)用、與虛擬訓(xùn)練環(huán)境進(jìn)行交互的應(yīng)用、游戲應(yīng)用、遠(yuǎn)程控制無人機(jī)或其他機(jī)械系統(tǒng)的應(yīng)用、觀看數(shù)字媒體內(nèi)容的應(yīng)用、與因特網(wǎng)交互的應(yīng)用等。

眼睛跟蹤器是用于估計(jì)眼睛位置和眼睛運(yùn)動的設(shè)備。眼睛跟蹤系統(tǒng)已被用于視覺系統(tǒng)的研究、心理學(xué)、心理語言學(xué)、營銷且用作用于人機(jī)交互的輸入設(shè)備。在后一種應(yīng)用中，通常考慮人的注視點(diǎn)與臺式監(jiān)視器的交叉點(diǎn)。

發(fā)明內(nèi)容

描述了用于虛擬和混合或增強(qiáng)現(xiàn)實(shí)(VR/AR)應(yīng)用中的眼睛跟蹤的方法和裝置的各種實(shí)施方案。描述了諸如頭戴式耳機(jī)、頭盔、護(hù)目鏡或眼鏡的VR/AR設(shè)備(本文稱為頭戴式顯示器(HMD))，該VR/AR設(shè)備包括用于在用戶的眼睛前面顯示包括左圖像和右圖像的幀以因此將3D虛擬視圖提供給用戶的顯示器(例如，左顯示器和右顯示器)。HMD可包括左光學(xué)透鏡和右光學(xué)透鏡(本文中稱為目鏡)，左光學(xué)透鏡和右光學(xué)透鏡(本文中稱為目鏡)位于顯示器和用戶的眼睛之間。目鏡在設(shè)計(jì)距離處形成所顯示的內(nèi)容的虛擬圖像，該設(shè)計(jì)距離通常接近目鏡的光學(xué)無限遠(yuǎn)。

HMD可包括用于檢測用戶的眼睛的位置和運(yùn)動的眼睛跟蹤系統(tǒng)。眼睛跟蹤系統(tǒng)可包括至少一個(gè)眼睛跟蹤相機(jī)(例如，近紅外(NIR)相機(jī))，至少一個(gè)眼睛跟蹤相機(jī)(例如，近紅外(NIR)相機(jī))被定位在用戶的面部的每個(gè)側(cè)面處，并且指向相應(yīng)目鏡的面向眼睛的表面；照射源(例如，NIR光源)，照射源(例如，NIR光源)朝向用戶的眼睛發(fā)射光(例如，NIR光)；以及熱鏡，熱鏡位于目鏡的面向眼睛的表面和用戶的眼睛之間。將熱鏡表面定位在目鏡的面向眼睛的表面處或附近允許眼睛跟蹤相機(jī)被放置在用戶的面部的側(cè)面處(例如，在用戶的頰骨處或附近)，而不必通過目鏡成像。

在一些實(shí)施方案中，HMD的光源發(fā)射NIR光以照射用戶的眼睛。NIR光的一部分從用戶的眼睛反射到位于HMD的目鏡的面向眼睛的表面處或附近的熱鏡。熱鏡反射NIR光的至少一部分，同時(shí)允許可見光經(jīng)過。例如，位于用戶的頰骨處或附近的NIR相機(jī)捕獲由熱鏡反射的用戶的眼睛的圖像。

可分析由眼睛跟蹤系統(tǒng)捕獲的圖像以檢測用戶的眼睛的位置和運(yùn)動，或檢測關(guān)于眼睛的其他信息，諸如瞳孔擴(kuò)張。例如，從眼睛跟蹤圖像估計(jì)的顯示器上的注視點(diǎn)可使得能夠與HMD的近眼顯示器上示出的內(nèi)容進(jìn)行基于注視的交互。其他應(yīng)用可包括但不限于創(chuàng)建用于VR/AR環(huán)境中的化身的眼睛圖像動畫。

附圖說明

圖1A和圖1B示出了用于VR/AR頭戴式顯示器(HMD)的眼睛跟蹤系統(tǒng)。

圖2示出了根據(jù)一些實(shí)施方案的實(shí)現(xiàn)眼睛跟蹤系統(tǒng)的VR/AR HMD，眼睛跟蹤系統(tǒng)包括位于目鏡的面向眼睛的表面和用戶的眼睛之間的熱鏡，以及位于用戶的面部的側(cè)面處的眼睛跟蹤相機(jī)。

圖3示出了根據(jù)一些實(shí)施方案的實(shí)現(xiàn)如圖2所示的眼睛跟蹤系統(tǒng)的示例性HMD的側(cè)視圖。