[發明專利]一種差分式二維注視點檢測方法及裝置

有效

• 申請號: 202110822170.8
• 申請日: 2021-07-21
• 公開（公告）號: CN113283402B
• 公開（公告）日: 2021-11-05
• 發明（設計）人: 馬惠敏;李潤桐;王榮全;丁家偉
• 申請（專利權）人: 北京科技大學;清華大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/20;G06K9/32;G06N3/04;G06N3/08
• 代理公司: 北京市廣友專利事務所有限責任公司 11237
• 代理人: 張仲波

1.一種差分式二維注視點檢測方法，其特征在于，所述方法包括以下步驟：

S1：獲取屏幕預設的校準點的坐標，以及測試者注視所述校準點的校準圖片；其中，所述校準圖片中包括測試者的人臉圖像；

S2：獲取所述測試者注視待檢測點的待檢測圖片，其中，所述待檢測圖片中包括所述測試者的人臉圖像；

S3：將得到的所述校準圖片、所述校準點的坐標以及所述待檢測圖片輸入至深度神經網絡的特征提取層；通過所述特征提取層對圖片進行人臉特征提取、雙目特征提取；提取后得到待檢測圖片特征向量以及校準圖片特征向量；

獲取人臉邊框構成的向量；將雙目特征向量和雙目邊框的坐標、人臉邊框構成的向量進行串聯，構成校準圖片特征向量以及待檢測圖片特征向量；

S4：將待檢測圖片特征向量以及校準圖片特征向量送入多層感知機，輸出待檢測注視點與校準點的物理相對位移；將相對位移與校準點的位置進行疊加，得到預測結果。

2.根據權利要求1所述的差分式二維注視點檢測方法，其特征在于，所述獲取屏幕預設的校準點的坐標，以及測試者注視所述校準點的校準圖片，包括：

S11：設定屏幕的坐標（0.0）點，并在屏幕上預設校準點，確定校準點的坐標；

S12：采集測試者注視屏幕上的校準圖像的面部圖片；

S13：獲取屏幕上校準點的坐標，輸出一張校準圖片。

3.根據權利要求1所述的差分式二維注視點檢測方法，其特征在于，所述獲取所述測試者注視待檢測點的待檢測圖片，包括：

S21：采集測試者注視屏幕上的檢測點的面部圖片；

S22：通過采集到的測試者面部圖片，輸出一張待檢測圖片。

4.根據權利要求1所述的差分式二維注視點檢測方法，其特征在于，所述將得到的所述校準圖片、所述校準點的坐標以及所述待檢測圖片輸入至深度神經網絡的特征提取層；通過所述特征提取層對圖片進行人臉特征提取、雙目特征提取，包括：

S31：通過人臉檢測模塊，使用TengineKit工具庫對圖片進行人臉檢測，得到測試者的人臉邊框以及雙目位置的關鍵點；根據雙目位置的關鍵點，得到雙目邊框的坐標，切割出雙目位置的圖片，通過矩形框分別框出兩個單目的位置，并確定雙目位置的圖片在原始圖片中的面積占比；

S32：通過卷積神經網絡的特征提取模塊，輸入雙目位置的圖片、雙目邊框的坐標以及雙目位置的圖片在原始圖片中的面積占比；通過卷積神經網絡對雙目位置的圖片進行特征提取，輸出雙目特征向量；并獲取待檢測圖片特征向量以及校準圖片特征向量。

5.根據權利要求1所述的差分式二維注視點檢測方法，其特征在于，步驟S4之后還包括：

S5：重復n次執行S1-S4，得到n個預測結果，確定n個預測結果分別對應的權重值，對n個預測結果進行加權求和，得到基于多個校準點的綜合預測結果。

6.根據權利要求5所述的差分式二維注視點檢測方法，其特征在于，所述重復n次執行S1-S4，得到n個預測結果，確定n個預測結果分別對應的權重值，對n個預測結果進行加權求和，得到基于多個校準點的綜合預測結果，包括：

S51：重復執行n次S1-S4，根據n張校準圖片、n個校準點的坐標以及1張待檢測圖片，得到n個校準圖片的特征向量以及1張待檢測圖片的特征向量，生成n個預測結果；

S52：將所述n個校準圖片的特征向量以及1張待檢測圖片的特征向量輸入多層感知機，得到所述n個預測結果分別對應的權重值；

S53：將所述n個預測結果以及分別對應的權重值輸入聚合層，對各個預測結果進行加權求和，得到基于多個校準點的綜合預測結果。