[發(fā)明專利]基于光場感知的眼球追蹤系統(tǒng)、方法

在審

• 申請?zhí)枺?/td>: 202110339665.5
• 申請日: 2021-03-30
• 公開（公告）號: CN113138664A
• 公開（公告）日: 2021-07-20
• 發(fā)明（設(shè)計）人: 吳濤
• 申請（專利權(quán)）人: 青島小鳥看看科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 北京鴻元知識產(chǎn)權(quán)代理有限公司 11327
• 代理人: 袁文婷;張娓娓

本發(fā)明提供一種基于光場感知的眼球追蹤方法，首先通過光場攝像頭實時捕捉雙眼的全光圖像的光強(qiáng)度圖像數(shù)據(jù)和光線的方向數(shù)據(jù)，再根據(jù)光強(qiáng)度圖像數(shù)據(jù)和光線的方向數(shù)據(jù)獲取全光圖像的深度信息，而后依據(jù)深度信息形成具有曲率的模型，并將模型作為眼球圖像平面區(qū)域，確定眼球圖像平面區(qū)域的法向量及法向量相對光場攝像頭的位置以確定雙眼的注視方向完成追蹤，如此采用光場攝像頭可直接捕捉光線的方向數(shù)據(jù)，因而不需要依靠角膜球面反射模型或閃爍位置來計算用戶眼睛的角膜中心即可眼球追蹤，也不需要將外部照明源定位在相對于光場攝像頭的特定位置，從而很大程度上改善眼球追蹤的數(shù)據(jù)質(zhì)量，穩(wěn)定性和追蹤精度。

技術(shù)領(lǐng)域

本發(fā)明涉及虛擬現(xiàn)實技術(shù)領(lǐng)域，更為具體地，涉及一種基于光場感知的眼球追蹤系統(tǒng)、方法。

背景技術(shù)

虛擬現(xiàn)實是一種在呈現(xiàn)給用戶之前以某種方式進(jìn)行調(diào)整的現(xiàn)實形式，可能包括虛擬現(xiàn)實(VR)、增強(qiáng)現(xiàn)實(AR)、混合現(xiàn)實(MR)、或某種組合和或衍生組合。

由于虛擬現(xiàn)實系統(tǒng)的應(yīng)用場景越來越多，特別是在醫(yī)學(xué)領(lǐng)域，現(xiàn)在一些醫(yī)院的專家醫(yī)生學(xué)者已經(jīng)開始通過虛擬現(xiàn)實系統(tǒng)內(nèi)置的眼球追蹤模塊，通過眼球追蹤模塊獲取眼球的一些運(yùn)動追蹤信息，進(jìn)行一些眼睛方面疾病的輔助檢查和研究工作。

結(jié)合虛擬現(xiàn)實頭戴式一體機(jī)設(shè)備，眼球追蹤在這些領(lǐng)域的使用，對追蹤數(shù)據(jù)的質(zhì)量要求比較高，特別是追蹤精度和追蹤穩(wěn)定性，目前眼球追蹤的主流技術(shù)是基于圖像處理的眼球追蹤與眼球視線檢測技術(shù)，該技術(shù)可以實時計算并記錄眼睛所看的位置。通過現(xiàn)有的技術(shù)，在虛擬現(xiàn)實一體機(jī)設(shè)備中內(nèi)置眼球追蹤模塊，主流的虛擬現(xiàn)實一體機(jī)設(shè)備的眼球追蹤模塊包括左，右眼的眼球紅外追蹤相機(jī)或者普通相機(jī)，如果使用紅外相機(jī)，在紅外追蹤相機(jī)附近按照一定規(guī)則，一定數(shù)量分布的紅外主動式發(fā)光光源，通過暗瞳技術(shù)，并以角膜反光點(diǎn)作為參考點(diǎn)計算瞳孔-角膜反光點(diǎn)矢量對人眼視線進(jìn)行追蹤，基本上都是通過圖像的2D信息進(jìn)行眼球追蹤信息的統(tǒng)計和計算。

上述的方案有幾個很明顯的局限性：①.紅外追蹤相機(jī)和紅外光源之間的相對位置關(guān)系有比較嚴(yán)格的限制和約束，對虛擬現(xiàn)實頭戴一體機(jī)設(shè)備的結(jié)構(gòu)布局帶來一定的挑戰(zhàn)。②.是通過在虛擬現(xiàn)實頭戴式一體機(jī)屏幕的左，右眼位置上分別安裝兩個眼球追蹤模塊，并且在兩個眼球追蹤模塊中均采用相同的光源，導(dǎo)致在標(biāo)定或者使用時，兩個眼球追蹤模塊中的光源發(fā)出的光線會容易相互干擾，特別是佩戴近視眼鏡的用戶，使其計算結(jié)果的誤差增大，影響眼球追蹤的位置精度。③.都是通過眼球的2D追蹤圖像信息進(jìn)行眼球追蹤信息的統(tǒng)計和計算，獲得高精度的眼球追蹤信息，對眼球追蹤算法的挑戰(zhàn)會比較大。

因此，亟需一種能夠改善眼球追蹤的數(shù)據(jù)質(zhì)量、穩(wěn)定性和追蹤精度的基于光場感知的眼球追蹤系統(tǒng)、方法。

發(fā)明內(nèi)容

鑒于上述問題，本發(fā)明的目的是提供一種基于光場感知的眼球追蹤系統(tǒng)、方法，以解決在兩個眼球追蹤模塊中均采用相同的光源，導(dǎo)致在標(biāo)定或者使用時，兩個眼球追蹤模塊中的光源發(fā)出的光線會容易相互干擾，特別是佩戴近視眼鏡的用戶，使其計算結(jié)果的誤差增大，影響眼球追蹤的位置精度的問題。

本發(fā)明提供的一種基于光場感知的眼球追蹤系統(tǒng)，包括一個紅外光照明源、兩個光場攝像頭和眼球追蹤處理器；其中，

所述紅外光照明源用于發(fā)射雙眼能夠接收的紅外光線；

所述兩個光場攝像頭用于各自實時捕捉雙眼的全光圖像的光強(qiáng)度圖像數(shù)據(jù)和所述紅外光線的方向數(shù)據(jù)；

所述眼球追蹤處理器用于根據(jù)所述光強(qiáng)度圖像數(shù)據(jù)和光線的方向數(shù)據(jù)獲取全光圖像的深度信息；依據(jù)所述深度信息形成具有曲率的模型，并將所述模型所在區(qū)域作為眼球圖像平面區(qū)域，確定所述眼球圖像平面區(qū)域的法向量及所述法向量相對光場攝像頭的位置以確定雙眼的注視方向完成追蹤。

優(yōu)選地，還包括顯示元件，

所述顯示元件用于向雙眼顯示虛擬顯示內(nèi)容。

優(yōu)選地，還包括光學(xué)塊，