[發明專利]視線方向追蹤方法和裝置

在審

• 申請號: 202110897215.8
• 申請日: 2021-08-05
• 公開（公告）號: CN113808160A
• 公開（公告）日: 2021-12-17
• 發明（設計）人: 凌瑞;張普;王進
• 申請（專利權）人: 虹軟科技股份有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/80;G06K9/00
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 凌齊文

本發明公開了一種視線方向追蹤方法和裝置。其中，該視線方向追蹤方法包括：使用多個光源對用戶的眼睛提供角膜反射，使用多個相機捕獲包含用戶人臉的圖像；通過從包含人臉的圖像獲取的人眼特征集結合硬件標定參數，確定世界坐標系中的光源反射點坐標和瞳孔中心坐標；根據光源反射點坐標和瞳孔中心坐標確定視線光軸，視線光軸通過補償角度重建視線視軸；根據視線視軸和目標對象在世界坐標系的位置，確定在目標對象上的視點。本發明解決了視線追蹤硬件成本高、算法優化效率低和估計精度低的技術問題。

技術領域

本發明涉及圖像處理技術領域，具體而言，涉及一種視線方向追蹤方法和裝置。

背景技術

在相關技術中，實時檢測駕駛員的視線方向和視線的落點位置，可以為輔助駕駛和各種產品應用提供重要的信息輸入。比如，視線的角度方向可以用于判斷當前駕駛員的觀察區域，檢測駕駛員分心的危險駕駛行為等，視線的落點位置可以用于判斷當前用戶的注意目標，從而調整增強現實抬頭顯示器系統的顯示位置等。

現有技術中視線方向追蹤方法通過獲取的包含人眼的圖像，通過分析中人眼的特征估計視線方向和視點，上述視線追蹤方法通常分為基于外觀法和基于角膜反射法。基于外觀法一般依賴人眼圖像或人臉圖像中包含的外觀特征，包括眼瞼位置、瞳孔位置、虹膜位置、內/外眼角、人臉朝向等特征估計視線方向和視點，基于外觀的方法不是利用幾何映射關系，而是將人眼圖像對應于高維空間的點，進而學習從給定特征空間的點到屏幕坐標的映射關系。基于角膜反射法，則除了依賴外觀法的部分圖像特征，還依賴光源在角膜上的反射形成的普爾欽斑，通過眼睛運動特征建立從幾何模型的瞳孔中心到凝視校準點的映射，一般來說，角膜反射法比外觀法有更高的精度，因此幾乎所有的成熟商業產品都基于角膜反射法，但是角膜反射法還需要復雜的設備以及精確的校準過程，并不具有普遍適用性。針對角膜反射法硬件制作成本高、算法優化效率低和視線估計精度低的問題，目前尚未提出有效的解決方案。

發明內容

本發明實施例提供了一種視線方向追蹤方法和裝置，以至少解決視線追蹤硬件成本高、算法優化效率低和估計精度低的技術問題。

根據本發明實施例中的一個方面，提供了一種視線方向追蹤方法，包括：使用多個光源對用戶的眼睛提供角膜反射，使用多個相機捕獲包含上述用戶人臉的圖像；通過從上述包含人臉的圖像獲取的人眼特征集結合硬件標定參數，確定世界坐標系中的光源反射點坐標和瞳孔中心坐標；根據上述光源反射點坐標和上述瞳孔中心坐標確定視線光軸，上述視線光軸通過補償角度重建視線視軸；根據上述視線視軸和目標對象在上述世界坐標系的位置，確定在上述目標對象上的視點。

可選的，上述人眼特征集包括：光源成像點，瞳孔成像點。

可選的，上述世界坐標系可選取以下任意一種：光源坐標系、相機坐標系、目標對象坐標系。

可選的，上述方法還通過預設眼球參數、上述補償角度、上述硬件標定參數和預設視點進行仿真驗證、分析和優化。

可選的，上述多個相機、上述多個光源和上述目標對象朝向用戶，且上述多個相機的視野不包括上述多個光源和上述目標對象。

可選的，上述硬件標定參數包括：上述多個相機坐標系的內外參和幾何位置關系，其中上述幾何位置關系包括以下：上述多個光源坐標系和上述多個相機坐標系之間的第一位置關系，上述多個光源坐標系和上述目標對象坐標系之間的第二位置關系，上述多個相機坐標系和上述目標對象坐標系之間的第三位置關系。

可選的，上述幾何位置關系通過結合上述多個相機的內外參，利用平面鏡和輔助相機中的至少一項傳遞標定信息標定獲得。