[發明專利]一種基于耦合級聯回歸的眼動追蹤方法

在審

• 申請號: 202210504365.2
• 申請日: 2022-05-10
• 公開（公告）號: CN114973389A
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 茍超;朱捷;玉悅釗;李孟棠
• 申請（專利權）人: 中山大學·深圳;中山大學
• 主分類號: G06V40/18
• 分類號: G06V40/18;G06V40/16;G06V10/46;G06V10/766;G06V10/80
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 鄭堪泳

1.一種基于耦合級聯回歸的眼動追蹤方法，其特征在于，包括以下步驟：

S1：對輸入圖片進行人臉檢測，并進行人臉關鍵點對齊；

S2：利用步驟S1提取出人臉關鍵點，提取出眼部圖片，初始化眼部關鍵點并計算出眼睛局部圖像特征和全局形狀特征；

S3：利用步驟S2得到的局部圖像特征和全局形狀特征，通過第一個回歸模型估計眼睛狀態；

S4：將步驟S2得到的特征和步驟S3得到的眼睛狀態，通過第二個回歸模型估計三維視線方向向量；

S5：利用步驟S2得到的特征、步驟S3得到的眼睛狀態和步驟S4得到的視線方向向量組合，通過第三個回歸模型估計瞳孔中心位置并更新關鍵點位置；

S6：根據更新后的關鍵點位置來更新局部圖像特征、全局形狀特征、眼睛狀態和視線方向，交替迭代多次輸出穩定的眼睛狀態、視線方向和人眼瞳孔中心位置。

2.根據權利要求1所述的基于耦合級聯回歸的眼動追蹤方法，其特征在于，所述步驟S1中進行人臉檢測的過程是：

對輸入圖像通過在特征矩形區域來計算像素值之差得到haar-like特征，并使用積分圖對Haar-like特征求值進行加速，每一類特征用一個Adaboost分類器進行分類，重復訓練不同的Adaboost分類器，最后將這些不同的分類器級聯，得到一個強分類器，該強分類器識別出人臉位置。

3.根據權利要求2所述的基于耦合級聯回歸的眼動追蹤方法，其特征在于，所述步驟S1中人臉關鍵點對齊的過程是：

計算基于每一個均值人臉的標記點的特征，然后通過計算估計人臉和真實人臉之間的偏移量進行人臉對齊，最終輸出人臉關鍵點位置。

4.根據權利要求3所述的基于耦合級聯回歸的眼動追蹤方法，其特征在于，所述步驟S1的具體過程是：

S11：將待測圖片灰度化；

S12：在灰度化圖像上用搜索窗口掃描圖像，并通過積分圖計算子窗口的haar-like特征值；

S13：級聯的AdaBoost訓練出的強分類器對子窗口的特征值進行篩選，通過所有強分類器篩選的子窗口即為人臉所在區域；

S14：將輸入圖像截取出人臉圖像，從51個特征點上提取出的尺度不變特征變換特征SIFT，每個特征點提取出了128個SIFT特征；

S15，利用得到的SIFT特征并使用監督下降法SDM的方法優化目標函數：

d(x₀+Δx)表示輸入圖像的標記點，h表示非線性特征提取函數，φ_*表示人工標記地SIFT特征。最終將初始特征回歸到人臉真實形狀特征上。

5.根據權利要求4所述的基于耦合級聯回歸的眼動追蹤方法，其特征在于，所述步驟S2的具體過程是：

S21：從獲得的人臉關鍵點中選取人眼關鍵點，分別截取出左眼和右眼的圖像；

S22：使用人眼的平均關鍵點位置初始化截取的眼部圖像的關鍵點位置，關鍵點位置包括2個眼角關鍵點，2個眼瞼關鍵點、2個瞳孔邊緣關鍵點及1個瞳孔中心位置；

S23：提取7個眼部關鍵點的SIFT特征構成眼睛局部圖像特征；

S24：計算人眼關鍵點位置兩兩之間的正負差值構成眼睛全局形狀特征。

6.根據權利要求5所述的基于耦合級聯回歸的眼動追蹤方法，其特征在于，所述步驟S2中，所述眼睛局部圖像特征為眼部圖像的SIFT特征，SIFT特征指的是尺度不變特征變換；所述的全局形狀特征為人眼關鍵點位置兩兩之間的正負差值。

7.根據權利要求6所述的基于耦合級聯回歸的眼動追蹤方法，其特征在于，所述步驟S3中，所述眼睛狀態是眼睛為睜開的概率，該概率在0到1之間，初始化1，也表示眼瞼對瞳孔的遮擋程度。