[發明專利]一種視線估計方法、系統、裝置及存儲介質

在審

• 申請號: 202110450755.1
• 申請日: 2021-04-26
• 公開（公告）號: CN113095274A
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 梁姍姍;張航
• 申請（專利權）人: 中山大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 深圳市創富知識產權代理有限公司 44367
• 代理人: 高冰

本發明公開了一種視線估計方法、系統、裝置及存儲介質，該方法包括：獲取人臉圖像并進行關鍵點檢測和3D模型擬合處理，得到人眼圖像和3D頭部旋轉向量；對人眼圖像和3D頭部旋轉向量進行數據正則化，得到正則化人眼圖像和頭部姿態估計向量；將正則化人眼圖像和頭部姿態估計向量輸入到預訓練的CNN網絡，并將網絡輸出轉換為3D視線方向向量。該系統包括：圖像預處理模塊、數據正則化模塊和結果輸出模塊。該裝置包括存儲器以及用于執行上述視線估計方法的處理器。通過使用本發明，能夠得到高精度的視線估計結果。本發明作為一種視線估計方法、系統、裝置及存儲介質，可廣泛應用于視線估計領域。

技術領域

本發明涉及視線估計領域，尤其涉及一種視線估計方法、系統、裝置及存儲介質。

背景技術

視線估計技術是研究如何精準的跟蹤人類視覺方向、視覺注意力的技術，視線估計技術在實際生活中有著廣泛的應用場景、巨大的應用價值，可以應用在認知科學、心理學、醫學研究、汽車駕駛、娛樂以及廣告與市場營銷研究等領域，為人們生活帶來便利，全面提升社會科技水平，伴隨著光學成像技術和圖像處理能力的不斷提高，特別是計算機視覺的發展，基于圖像的視線估計方法開始成為主導，目前的視線估計方法包括基于模型的方法和基于表現的視線，但是，現有方法存在估計精度不高、估計速度較慢、對場景依賴性強、實驗過程復雜、用戶體驗差等問題。

發明內容

為了解決上述技術問題，本發明的目的是提供一種視線估計方法、系統、裝置及存儲介質，精度高、無需定標且操作簡單。

本發明所采用的第一技術方案是：一種視線估計方法，包括以下步驟：

獲取人臉圖像并進行關鍵點檢測和3D模型擬合處理，得到人眼圖像和3D頭部旋轉向量；

對人眼圖像和3D頭部旋轉向量進行數據正則化，得到正則化人眼圖像和頭部姿態估計向量；

將正則化人眼圖像和頭部姿態估計向量輸入到預訓練的CNN網絡，并將網絡輸出轉換為3D視線方向向量。

進一步，所述獲取人臉圖像并進行關鍵點檢測和3D模型擬合處理，得到人眼圖像和3D頭部旋轉向量這一步驟，其具體包括：

獲取完整的人臉圖像；

基于dlib人臉檢測和68個人臉關鍵點檢測進行2D人臉對齊，得到圖像對應的人臉關鍵點二維坐標；

根據人臉關鍵點二維坐標中的眼部關鍵點位置，獲取人眼圖像；

獲取3D人臉關鍵點模型；

基于EPnP算法將人臉關鍵點二維坐標和3D人臉關鍵點模型進行擬合，得到3D頭部旋轉向量。

進一步，對人眼圖像進行數據正則化之前，還包括對人眼圖像進行眨眼檢測并篩選這一步驟，具體包括：

根據人眼圖像中的左眼關鍵點信息和右眼關鍵點信息，得到穿過眼睛的一條水平線和一條垂直線；

計算水平線與對應垂直線的比值；

判斷到比值大于預設閾值，確定該人眼圖像為睜眼狀態，將進行視線估計；

判斷到比值小于預設閾值，確定該人眼圖像為閉眼狀態，將不再進行視線估計。

進一步，數據正則化的公式如下：

M＝S*R

上式中，R表示相機旋轉矩陣的逆矩陣，S表示縮放矩陣。

進一步，所述對人眼圖像和3D頭部旋轉向量進行數據正則化，得到正則化人眼圖像和頭部姿態估計向量這一步驟，其具體包括：

基于變換矩陣對人眼圖像和3D頭部旋轉向量進行處理；

將相機坐標系以R旋轉矩陣旋轉；