[發明專利]一種基于耦合級聯回歸的眼動追蹤方法

在審

• 申請號: 202210504365.2
• 申請日: 2022-05-10
• 公開（公告）號: CN114973389A
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 茍超;朱捷;玉悅釗;李孟棠
• 申請（專利權）人: 中山大學·深圳;中山大學
• 主分類號: G06V40/18
• 分類號: G06V40/18;G06V40/16;G06V10/46;G06V10/766;G06V10/80
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 鄭堪泳

本發明提供一種基于耦合級聯回歸的眼動追蹤方法，該方法實現人眼狀態檢測、視線估計和瞳孔中心檢測，實時準確地完成三個眼動追蹤任務，更好地解決了單一方法無法實現多個眼動追蹤的問題；融合眼部圖像全局形狀結構信息和局部圖像特征，考慮了人眼瞳孔位置變化和視線變化內在對應關系，通過提取瞳孔中心和周圍眼部關鍵點相對位置形狀特征來分析人的視線，更好地解決了光照條件變化、個人生理特征差異和頭部姿態變化等不利因素帶來的檢測準確率不高的問題。

技術領域

本發明涉及智能視覺技術領域，更具體地，涉及一種基于耦合級聯回歸的眼動追蹤方法。

背景技術

眼動跟蹤是指自動檢測瞳孔中心位置或者識別三維視線方向及注視點的過程，這項技術可以預測被測對象的意圖和注意力，評估其狀態和需求，已被廣泛應用于人機交互、智能駕駛、情感計算、虛擬現實等領域。在智能駕駛中，可以通過眼動追蹤評估駕駛員的精神狀態和疲勞程度；在情感計算中，通過患者的眼動情況可以評估其抑郁狀態或判斷其患病程度；在虛擬現實和增強現實的應用中，被測者的眼動情況提供了其注意力方向和意圖，有助于圖像渲染、場景設計等方面的研究和開發。然而在實際應用場景中，眼動跟蹤估計仍然有很多局限性。一方面，個體生理特征存在差異、頭部姿態和光照條件多變等因素影響眼動追蹤的準確性；另一方面，收集大量外觀、光照條件和頭部姿態不同的樣本難度很大且比較耗時。

眼動追蹤技術發展了多年，主要分為兩類：

1、接觸式眼動追蹤方法。該方法主要通過入侵式硬件進行輔助，如探查線圈法利用帶有線圈的隱形眼鏡在電磁場中運動,通過電磁感應原理產生的信號來測量眼球水平及垂直方向的運動,從而實現眼睛位置檢測；紅外線法需要在眼部附近安裝紅外光敏管,根據瞳孔、鞏膜、角膜等不同光學界面反射的圖像可以測量眼動。因為精度不高且入侵式設備會導致被測者不適，這些方法逐漸被淘汰；

2、基于圖像的眼動追蹤技術。對輸入的面部圖像進行紋理特征提取，然后學習特征與視線方向之間的映射模型,以進行視線估計或眼睛位置定位。但此類方法受光照條件變化、個體生理特征差異和頭部姿態變化等因素影響，準確率不高，靈敏度低。且現有基于圖像的眼動追蹤技術無法滿足同時檢測人眼狀態、估計視線方向和檢測瞳孔中心的多任務需求。

現有技術中公開了一種基于銀河銳華移動操作系統的眼動追蹤、識別方法及系統的專利，該專利首先人臉檢測模塊從YROS平臺攝像頭捕獲的連續圖像中檢測出人臉，供后續模塊的使用；然后，眼睛/眼球定位模塊對人臉檢測模塊輸出的人臉的眼睛和眼球進行檢測與定位；然后，根據眼睛與眼球的定位，計算眼球的位置；然后，計算出眼動姿態；該專利通過眼動跟蹤及識別方法跟蹤眼球的運動軌跡并且識別多種眼動姿態，為YROS平臺實現眼姿命令編碼識別與控制功能提供有力支撐。然而，該專利對于如何有效解決了眼動追蹤無法同時檢測眼睛狀態、視線估計和檢測瞳孔中心的問題沒有任何的涉及。

發明內容

本發明提供一種基于耦合級聯回歸的眼動追蹤方法，該方法解決了眼動追蹤無法同時檢測眼睛狀態、視線估計和檢測瞳孔中心的問題。

為了達到上述技術效果，本發明的技術方案如下：

一種基于耦合級聯回歸的眼動追蹤方法，包括以下步驟：

S1：對輸入圖片進行人臉檢測，并進行人臉關鍵點對齊；

S2：利用步驟S1提取出人臉關鍵點，提取出眼部圖片，初始化眼部關鍵點并計算出眼睛局部圖像特征和全局形狀特征；

S3：利用步驟S2得到的局部圖像特征和全局形狀特征，通過第一個回歸模型估計眼睛狀態；

S4：將步驟S2得到的特征和步驟S3得到的眼睛狀態，通過第二個回歸模型估計三維視線方向向量；

S5：利用步驟S2得到的特征、步驟S3得到的眼睛狀態和步驟S4得到的視線方向向量組合，通過第三個回歸模型估計瞳孔中心位置并更新關鍵點位置；