[發明專利]一種基于圖像的眼動追蹤方法和系統

在審

• 申請號: 202110554123.X
• 申請日: 2021-05-20
• 公開（公告）號: CN113177515A
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 楊子揚;洪叁亮;張翔;吳俊;連桄雷
• 申請（專利權）人: 羅普特科技集團股份有限公司;羅普特（廈門）系統集成有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/08;G06N3/04
• 代理公司: 廈門福貝知識產權代理事務所(普通合伙) 35235
• 代理人: 郭涵煒

1.一種基于圖像的眼動追蹤方法，其特征在于，包括：

S1：對待檢測圖像進行人臉檢測，獲得人臉檢測框；

S2：利用人臉關鍵點定位網絡定位出眼睛感興趣區域并進行瞳孔關鍵點定位；以及

S3：基于瞳孔中心和眼睛區域中心計算獲取水平偏移比率以確定人眼朝向。

2.根據權利要求1所述的基于圖像的眼動追蹤方法，其特征在于，所述步驟S1具體為利用無錨點的人臉檢測方法對待檢測圖像進行人臉檢測，獲得人臉框。

3.根據權利要求2所述的基于圖像的眼動追蹤方法，其特征在于，所述無錨點的人臉檢測方法包括：將所述待檢測圖像輸入至人臉檢測網絡中輸出人臉熱度圖、人臉尺度圖和人臉中心偏移量圖，所述人臉熱度圖中大于預設閾值的點為人臉，并在所述人臉中心偏移量圖上對應位置取出人臉坐標偏移量，與所述人臉熱度圖中的坐標相加獲得人臉的中心位置，在所述人臉尺度圖上計算人臉的寬高，得到人臉檢測框，并利用非極大值抑制剔除重復的人臉檢測框。

4.根據權利要求3所述的基于圖像的眼動追蹤方法，其特征在于，所述步驟S2之前還包括對所述人臉檢測框進行外擴，對所述人臉檢測框的橫坐標方向按所述人臉檢測框的寬度的四分之一進行外擴，對所述人臉檢測框的縱坐標方向按所述人臉檢測框的高度的四分之一進行外擴。

5.根據權利要求1所述的基于圖像的眼動追蹤方法，其特征在于，所述人臉關鍵點定位網絡包括MobileNetV2的主干網絡、卷積層、多尺度層和全連接層，其中，所述多尺度卷積層由前一個卷積層的輸出經過兩次下采樣，并將相應的輸出聯結在一起，所述全連接層輸出為896個神經元。

6.根據權利要求1所述的基于圖像的眼動追蹤方法，其特征在于，所述步驟S2包括：

S21.將人臉訓練圖像進行預處理，所述預處理包括數據擴增和數據歸一化處理，所述數據擴增包括隨機補邊、隨機顏色抖動；

S22.將人臉訓練圖像輸入人臉關鍵點網絡，計算網絡的輸出與人工標注的損失其中，L_off為人臉關鍵點坐標損失值，o_k為人工標注的坐標真實值，為網絡預測的坐標值，N為樣本總量，x為人臉關鍵點的坐標值；

S23.訓練優化器Adam，其中，超參數β₁和β₂分別為0.9和0.99；

S24.學習率設置為5e^-4；

S25.重復迭代80次時降低學習率至5e^-5，重復迭代80次，當最終損失值小于等于預設的損失閾值，調整定位模型的權重、梯度直至最終損失值大于預設的損失閾值，輸出人臉關鍵點定位模型；

S26.利用所述人臉關鍵點定位模型輸出468個人臉關鍵點坐標。

7.根據權利要求6所述的基于圖像的眼動追蹤方法，其特征在于，瞳孔關鍵點定位具體包括：根據所述468個人臉關鍵點坐標，對眼睛區域進行外擴獲得眼睛感興趣區域，并輸入瞳孔關鍵點定位模型輸出通孔關鍵點坐標。

8.根據權利要求1所述的基于圖像的眼動追蹤方法，其特征在于，所述步驟S3的水平方向偏移比率的計算公式當HorizontalRatio≤0.35時表示眼睛向右看；當HorizontalRatio≥0.65時表示眼睛向左看；當0.35＜HorizontalRatio＜0.65時表示眼睛向中間看，其中，leftiris_center_x表示左眼瞳孔中心點坐標，rightiris_center_x表示右眼瞳孔中心點坐標，lefteye_center_x表示左眼區域中心點坐標，righteye_center_x示右眼區域中心點坐標。

9.一種計算機可讀存儲介質，其上存儲有一或多個計算機程序，其特征在于，該一或多個計算機程序被計算機處理器執行時實施權利要求1至8中任一項所述的方法。

10.一種基于圖像的眼動追蹤系統，其特征在于，所述系統包括：

人臉檢測框獲取單元：配置用于對待檢測圖像進行人臉檢測，獲得人臉檢測框；

參數獲取單元：配置用于利用人臉關鍵點定位網絡定位出眼睛感興趣區域并進行瞳孔關鍵點定位；

人眼朝向計算單元：配置用于基于瞳孔中心和眼睛區域中心計算獲取水平偏移比率以確定人眼朝向。