[發明專利]眼球追蹤的模型建立方法、眼球追蹤方法、設備、介質

有效

• 申請號: 201910228121.4
• 申請日: 2019-03-25
• 公開（公告）號: CN109947253B
• 公開（公告）日: 2020-06-19
• 發明（設計）人: 崔利陽;孫建康;李綱;薛亞沖;陳麗莉;張浩
• 申請（專利權）人: 京東方科技集團股份有限公司;北京京東方光電科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00;G06T7/246;G06T7/66;G06T7/73
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 張京波;曲鵬

本申請公開了一種用于眼球追蹤的模型建立方法、眼球追蹤方法、設備、介質，該用于眼球追蹤的模型建立方法包括：獲取多張眼睛圖像，確定所述多張眼睛圖像中的瞳孔成像；根據所述瞳孔成像以及生成所述眼睛圖像的成像設備的焦點確定瞳孔對應的像空間內的瞳孔，根據所述像空間內的瞳孔確定一球心，根據所述球心和所述像空間內的瞳孔確定像空間內的注視點；根據所述像空間內的注視點和所述瞳孔成像的中心點確定瞳孔成像中心點與像空間內的注視點的映射模型。本實施例提供的方案，提高了眼球追蹤的準確性。

技術領域

本發明涉及視覺互動技術，尤指一種用于眼球追蹤的模型建立方法、眼球追蹤方法、設備及介質。

背景技術

理想的虛擬現實(Virtual Reality，簡稱VR)頭顯需要以臨場感所需的極高分辨率呈現圖像。這對渲染引擎和傳輸過程是一個巨大的挑戰。受限于頭顯體積、芯片運算能力以及成本多方面的限制，采用傳統的顯示技術不能達到很好的效果，降低了用戶體驗。注視點渲染技術可以較好的解決這一問題，但其也對眼動追蹤技術提出了要求。

現有的眼球追蹤技術一般的流程通常是利用紅外攝像頭獲取人眼部的圖像信息，通過圖像算法確定出瞳孔中心，根據映射關系模型求出眼睛在屏幕上的注視點，該映射關系是在用戶使用設備時事先標定的，其基本思想是：在VR設備屏幕中出現多個確定位置的注視點(一般為九個)，當人眼分別注視這多個注視點的時候，通過算法可以確定瞳孔中心在圖像中的位置坐標。從而得到多組注視點以及對應的瞳孔中心位置，對于兩者之間的映射關系可以采用多項式模型，其中的系數采用線性回歸求出。現實應用中，VR設備和人眼之間發生相對滑動時會引入誤差，多項式模型也無法分析和解釋誤差的影響，導致事先標定的多項式模型不再準確。

發明內容

本發明至少一實施例提供了一種用于眼球追蹤的模型建立方法、眼球追蹤方法、設備及介質，提高眼球追蹤的準確性。

為了達到本發明目的，本發明至少一實施例提供了一種用于眼球追蹤的模型建立方法，包括：

獲取多張眼睛圖像，確定所述多張眼睛圖像中的瞳孔成像；

根據所述瞳孔成像以及生成所述眼睛圖像的成像設備的焦點確定瞳孔對應的像空間內的瞳孔，根據所述像空間內的瞳孔確定一球心，所述球心為所述像空間內的瞳孔的中心所在球面的中心；根據所述球心和所述像空間內的瞳孔確定像空間內的注視點；

根據所述像空間內的注視點和所述瞳孔成像的中心點確定瞳孔成像中心點與像空間內的注視點的映射模型。

在一實施例中，在初始標定時，所述多張眼睛圖像包括眼睛分別注視屏幕上的多個目標注視點時的眼睛圖像。

在一實施例中，所述根據所述瞳孔成像以及生成所述眼睛圖像的成像設備的焦點確定瞳孔對應的像空間內的瞳孔包括：

限定所述像空間內的瞳孔的尺寸為預設值，在所述焦點與所述瞳孔成像的邊界組成的圓錐中尋找滿足所限定的尺寸且邊界在所述圓錐的圓錐面上的圓面即為所述像空間內的瞳孔。

在一實施例中，所述根據所述像空間內的瞳孔確定一球心包括：根據所述像空間內的瞳孔基于最小二乘法確定一球心，

在一實施例中，根據所述球心和所述像空間內的瞳孔確定像空間內的注視點包括：

確定所述球心與所述像空間內的瞳孔的中心的連線，該連線與所述屏幕對應的所述像空間內的屏幕的交點即為所述像空間內的注視點，其中，所述屏幕對應的所述像空間內的屏幕的位置在初始標定時確定，且所述像空間內的屏幕的位置滿足：所述像空間內的注視點之間的間距與所述屏幕上對應的注視點之間的間距相同。

在一實施例中，所述根據所述像空間內的注視點和所述瞳孔成像的中心點確定瞳孔成像中心點與像空間內的注視點的映射模型包括：