[發明專利]視線方向追蹤方法和裝置

在審

• 申請號: 202110897215.8
• 申請日: 2021-08-05
• 公開（公告）號: CN113808160A
• 公開（公告）日: 2021-12-17
• 發明（設計）人: 凌瑞;張普;王進
• 申請（專利權）人: 虹軟科技股份有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/80;G06K9/00
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 凌齊文

1.一種視線方向追蹤方法，其特征在于，包括：

使用多個光源對用戶的眼睛提供角膜反射，使用多個相機捕獲包含所述用戶人臉的圖像；

通過從所述包含人臉的圖像獲取的人眼特征集結合硬件標定參數，確定世界坐標系中的光源反射點坐標和瞳孔中心坐標；

根據所述光源反射點坐標和所述瞳孔中心坐標確定視線光軸，所述視線光軸通過補償角度重建視線視軸；

根據所述視線視軸和目標對象在所述世界坐標系的位置，確定在所述目標對象上的視點。

2.根據權利要求1所述的視線方向追蹤方法，其特征在于，所述人眼特征集包括：光源成像點，瞳孔成像點。

3.根據權利要求1所述的視線方向追蹤方法，其特征在于，所述世界坐標系可選取以下任意一種：光源坐標系、相機坐標系、目標對象坐標系。

4.根據權利要求1所述的視線方向追蹤方法，其特征在于，所述方法還通過預設眼球參數、所述補償角度、所述硬件標定參數和預設視點進行仿真驗證、分析和優化。

5.根據權利要求1所述的視線方向追蹤方法，其特征在于，所述多個相機、所述多個光源和所述目標對象朝向用戶，且所述多個相機的視野不包括所述多個光源和所述目標對象。

6.根據權利要求1所述的視線方向追蹤方法，其特征在于，所述硬件標定參數包括：

所述多個相機坐標系的內外參和幾何位置關系，其中所述幾何位置關系包括以下：所述多個光源坐標系和所述多個相機坐標系之間的第一位置關系，所述多個光源坐標系和所述目標對象坐標系之間的第二位置關系，所述多個相機坐標系和所述目標對象坐標系之間的第三位置關系。

7.根據權利要求6所述的視線方向追蹤方法，其特征在于，所述幾何位置關系通過結合所述多個相機的內外參，利用平面鏡和輔助相機中的至少一項傳遞標定信息標定獲得。

8.根據權利要求6所述的視線方向追蹤方法，其特征在于，通過從所述包含人臉的圖像獲取的人臉特征集結合硬件標定參數，確定世界坐標系中的光源反射點坐標和瞳孔中心坐標，包括：

若所述世界坐標系為所述光源坐標系，所述人臉特征集通過所述多個相機的內外參，結合所述第一位置關系，或結合所述第二位置關系和所述第三位置關系，確定所述光源坐標系中的所述光源反射點坐標和所述瞳孔中心坐標；

若所述世界坐標系為所述相機坐標系，所述人臉特征集通過所述多個相機的內外參，確定所述多個相機坐標系中的所述光源反射點坐標和所述瞳孔中心坐標；

若所述世界坐標系為所述目標對象坐標系，所述人臉特征集通過所述多個相機的內外參，結合所述第三位置關系，或結合所述第一位置關系和所述第二位置關系，確定所述目標對象坐標系中的所述光源反射點坐標和所述瞳孔中心坐標。

9.根據權利要求1所述的視線方向追蹤方法，其特征在于，根據所述光源反射點坐標和所述瞳孔中心坐標確定視線光軸，包括：

根據所述光源反射點坐標和角膜曲率半徑，確定角膜曲率中心的坐標；

根據所述瞳孔中心坐標和所述角膜曲率中心的坐標，確定所述瞳孔中心與所述角膜曲率中心連線的所述視線光軸。

10.根據權利要求6所述的視線方向追蹤方法，其特征在于，所述幾何位置關系通過結合所述多個相機的內外參，利用平面鏡和輔助相機傳遞標定信息標定獲得，包括：

第一輔助相機獲取所述平面鏡以多個不同姿態反射的含有第一標記的所述目標對象的多張第一標記圖像；

結合所述多個相機的內外參，根據多張所述第一標記圖像基于正交約束計算所述第三位置關系；

第二輔助相機獲取包含所述多個光源的第二標記圖像，結合所述多個相機的內外參并基于所述第二標記圖像獲取所述第一位置關系，其中，所述第二輔助相機為立體視覺系統；

根據所述第一位置關系和所述第三位置關系確定所述第二位置關系。