[發明專利]一種基于對抗優化的視線方向確定方法

有效

• 申請號: 202110075356.1
• 申請日: 2021-01-13
• 公開（公告）號: CN112766163B
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 陸峰;程義華
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06N3/08
• 代理公司: 北京唯智勤實知識產權代理事務所(普通合伙) 11557
• 代理人: 陳佳

本公開的實施例公開了視線方向確定方法。該方法的一具體實施方式包括：獲取目標對象的人臉或人眼圖像，建立特征提取網絡；利用對抗訓練方法，優化特征提取網絡，隱式的去除特征提取網絡所提取的視線無關特征，使得特征提取網絡從人臉或人眼圖像中提取視線相關特征，得到視線相關特征；基于視線相關特征，確定目標視線方向。該實施方式可以將圖像特征中包含的視線無關特征與視線相關特征進行分離，使得圖像特征中包含視線相關特征，進一步使得確定的視線方向的準確性和穩定性提升。

技術領域

本公開的實施例涉及圖像處理技術領域，具體涉及視線方向確定方法。

背景技術

目前，視線追蹤是計算機視覺中的一個重要領域，視線追蹤的主要目的在于預測用戶的視線方向。用戶的視線方向中包含有大量的用戶個人傾向性信息和個人感知信息。視線追蹤技術在人機交互，用戶的意圖理解中有著重要的作用。

發明內容

本公開的內容部分用于以簡要的形式介紹構思，這些構思將在后面的具體實施方式部分被詳細描述。本公開的內容部分并不旨在標識要求保護的技術方案的關鍵特征或必要特征，也不旨在用于限制所要求的保護的技術方案的范圍。

本公開的一些實施例提出了視線方向確定方法，來解決以上背景技術部分提到的技術問題中的一項或多項。

本發明提供了一種視線方向確定方法。其目標在于，優化從目標對象的人臉或人眼外觀中提取得到的圖像特征，去除視線無關特征，例如說：光照，個人外觀，僅保留視線相關特征，并以上述視線相關特征預測目標對象的目標視線方向。

具體而言，本發明所提供的視線方向確定方法，包括：獲取目標對象的人臉或人眼圖像，建立特征提取網絡，其中，特征提取網絡用于在上述人臉或人眼圖像中提取上述目標對象的圖像特征；利用對抗訓練方法，優化特征提取網絡，隱式的去除特征提取網絡所提取的視線無關特征，使得特征提取網絡從上述人臉或人眼圖像中提取視線相關特征，得到視線相關特征；基于上述視線相關特征，確定目標視線方向。

在一種可能的實施方式中，上述對抗性任務包括：

建立一個圖像重建網絡，向圖像重建網絡輸入圖像特征，圖像重建網絡輸出生成圖像。在網絡訓練過程中，圖像重建網絡試圖從上述圖像特征中恢復目標對象的人臉或人眼圖像。特征提取網絡通過優化調整自身參數，減少提取的圖像特征中所包含的圖像信息，使得圖像重建網絡無法從上述圖像特征中恢復目標對象的人臉或人眼圖像。同時，通過為目標對象的人臉或人眼圖像設立權重圖，對圖像中不同的區域進行加權，將任務細化為減少圖像中某一區域所包含的圖像信息，例如眼睛區域。從而消除該指定區域中的視線無關特征。

另一方面，建立一個視線預測網絡，向視線預測網絡輸入圖像特征，視線預測網絡輸出視線方向。在網絡訓練過程中，視線預測網絡和上述特征提取網絡均盡力保證視線方向確定的準確性，要求特征提取網絡提取的圖像特征中包含數目大于第一預定閾值個的視線信息。這也意味著最大化圖像特征中所包含的圖像信息。

本發明與現有技術相比的優點在于：本發明通過設計對抗任務優化了所提取的圖像特征，隱式的去除了所提取的圖像特征中包含的視線無關特征，僅保留視線相關特征。目前大部分的視線預測方法都是通過神經網絡自動的從圖像中學習用于視線估計的特征。然而，對于面部圖像中，一些視線無關特征(例如，光照)會和視線相關特征(例如，面部特征點)緊緊結合在一起，即提取到的特征中可能是包含有光照的面部特征點。在本發明中，通過建立兩個對抗性任務，約束了提取圖像特征中包含有數目小于預定閾值個的圖像信息，以及數目大于第一預定閾值個的視線信息。通過對抗訓練的方式，將圖像特征中包含的視線無關特征與視線相關特征進行分離，使得圖像特征中包含視線相關特征，進一步使得確定的視線方向的準確性和穩定性提升。

附圖說明

結合附圖并參考以下具體實施方式，本公開各實施例的上述和其他特征、優點及方面將變得更加明顯。貫穿附圖中，相同或相似的附圖標記表示相同或相似的元素。應當理解附圖是示意性的，元件和元素不一定按照比例繪制。