[發明專利]一種視線估計方法、系統、裝置及存儲介質

在審

• 申請號: 202110450755.1
• 申請日: 2021-04-26
• 公開（公告）號: CN113095274A
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 梁姍姍;張航
• 申請（專利權）人: 中山大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 深圳市創富知識產權代理有限公司 44367
• 代理人: 高冰

1.一種視線估計方法，其特征在于，包括以下步驟：

獲取人臉圖像并進行關鍵點檢測和3D模型擬合處理，得到人眼圖像和3D頭部旋轉向量；

對人眼圖像和3D頭部旋轉向量進行數據正則化，得到正則化人眼圖像和頭部姿態估計向量；

將正則化人眼圖像和頭部姿態估計向量輸入到預訓練的CNN網絡，并將網絡輸出轉換為3D視線方向向量。

2.根據權利要求1所述一種視線估計方法，其特征在于，所述獲取人臉圖像并進行關鍵點檢測和3D模型擬合處理，得到人眼圖像和3D頭部旋轉向量這一步驟，其具體包括：

獲取完整的人臉圖像；

基于dlib人臉檢測和68個人臉關鍵點檢測進行2D人臉對齊，得到圖像對應的人臉關鍵點二維坐標；

根據人臉關鍵點二維坐標中的眼部關鍵點位置，獲取人眼圖像；

獲取3D人臉關鍵點模型；

基于EPnP算法將人臉關鍵點二維坐標和3D人臉關鍵點模型進行擬合，得到3D頭部旋轉向量。

3.根據權利要求2所述一種視線估計方法，其特征在于，對人眼圖像進行數據正則化之前，還包括對人眼圖像進行眨眼檢測并篩選這一步驟，具體包括：

根據人眼圖像中的左眼關鍵點信息和右眼關鍵點信息，得到穿過眼睛的一條水平線和一條垂直線；

計算水平線與對應垂直線的比值；

判斷到比值大于預設閾值，確定該人眼圖像為睜眼狀態，將進行視線估計；

判斷到比值小于預設閾值，確定該人眼圖像為閉眼狀態，將不再進行視線估計。

4.根據權利要求3所述一種視線估計方法，其特征在于，數據正則化的公式如下：

M＝S*R

上式中，R表示相機旋轉矩陣的逆矩陣，S表示縮放矩陣。

5.根據權利要求4所述一種視線估計方法，其特征在于，所述對人眼圖像和3D頭部旋轉向量進行數據正則化，得到正則化人眼圖像和頭部姿態估計向量這一步驟，其具體包括：

基于變換矩陣對人眼圖像和3D頭部旋轉向量進行處理；

將相機坐標系以R旋轉矩陣旋轉；

再將相機坐標系以S縮放矩陣進行縮放；

通過透視變換，最終得到正則化人眼圖像和頭部姿態估計向量。

6.根據權利要求5所述一種視線估計方法，其特征在于，所述預訓練的CNN網絡的訓練步驟具體包括：

獲取帶有真實視線角度標簽的人眼圖像和頭部姿態估計向量輸入到CNN網絡，得到網絡輸出；

基于均方誤差的損失函數計算網絡輸出與真實視線角度標簽之間的誤差，得到誤差結果；

根據誤差結果調節網絡參數，得到訓練完成的視線估計模型。

7.根據權利要求6所述一種實現估計方法，其特征在于，所述將正則化人眼圖像和頭部姿態估計向量輸入到預訓練的CNN網絡，并將網絡輸出轉換為3D視線方向向量這一步驟，其具體包括：

將正則化人眼圖像和頭部姿態估計向量輸入到預訓練的CNN網絡；

經過卷積層卷積、池化層壓縮，得到眼睛特征；

經過全連接層將頭部姿態估計向量與提取出的眼睛特征拼接，輸出2D視線角度；

將2D視線角度經過幾何轉換得到3D視線方向向量。

8.一種視線估計系統，其特征在于，包括：

圖像預處理模塊，用于獲取人臉圖像并進行關鍵點檢測和3D模型擬合處理，得到人眼圖像和3D頭部旋轉向量；

數據正則化模塊，用于對人眼圖像和3D頭部旋轉向量進行數據正則化，得到正則化人眼圖像和頭部姿態估計向量；

結果輸出模塊，用于將正則化人眼圖像和頭部姿態估計向量輸入到預訓練的CNN網絡，并將網絡輸出轉換為3D視線方向向量。

9.一種視線估計裝置，其特征在于，包括：

至少一個處理器；

至少一個存儲器，用于存儲至少一個程序；

當所述至少一個程序被所述至少一個處理器執行，使得所述至少一個處理器實現如權利要求1-7任一項所述一種視線估計方法。

10.一種存儲介質，其中存儲有處理器可執行的指令，其特征在于：所述處理器可執行的指令在由處理器執行時用于實現如權利要求1-7任一項所述一種視線估計方法。