[發明專利]凝視位置估計方法、計算機設備及存儲介質

有效

• 申請號: 201811545705.6
• 申請日: 2018-12-18
• 公開（公告）號: CN109684969B
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 高盛華;廉東澤;張子恒
• 申請（專利權）人: 上?？萍即髮W
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V40/18;G06V20/64;G06V10/82;G06N3/04
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 高彥

本發明提供凝視位置估計方法、計算機設備及存儲介質，根據人臉RGBD圖像中目標人物的雙眼圖像提取雙眼的眼球姿態特征；根據人臉RGBD圖像獲取頭部姿態特征及頭部深度特征；將人臉RGBD圖像中眼部所在位置的圖像坐標同所述頭部深度特征中的對應位置的深度信息合成以得到眼部的空間位置特征；合成所述眼球姿態特征、頭部姿態特征、及眼部的空間位置特征為綜合特征，并輸入一凝視位置估計模型以估計凝視位置；本發明利用多種與凝視位置相關的帶有深度信息的姿態因素進行特征提取并組合，并通過消除原始深度信息中的噪聲干擾，有效提升預測凝視位置的精準度，解決現有技術的問題。

技術領域

本發明涉及圖像處理技術領域，尤其涉及凝視位置估計方法、計算機設備及存儲介質。

背景技術

凝視估計是指通過人眼或人臉信息來估計人們所注視的方向或位置的一項技術。這種技術已被廣泛應用于各個領域，包括人機交互，視覺行為分析和心理學研究。例如，在人機交互中，凝視估計技術被用于虛擬現實游戲，人們可以通過眼球控制游戲中物體的移動；在視覺行為分析中，可以通過凝視點估計技術開發出能夠商用的預測凝視位置的儀器——眼動儀，可以通過收集志愿者所看的位置來判斷圖像的顯著性，有助于幫助網頁的廣告顯示位置、圖像壓縮等；另外，凝視點估計也能幫助我們更多的分析人們的心理，在心理測試、心理治療中有諸多幫助。因此，凝視估計這項技術有巨大的潛在價值和研究必要。

早期的凝視估計技術是基于眼睛的幾何模型和特征的方法，此種方法需要首先對志愿者進行校準，然后利用額外的紅外光源等專用硬件來提取眼睛特征。如此的方法所需步驟較繁瑣，校準步驟使得此種方法無法對不受干擾的人直接進行凝視點預測，額外的紅外光源使得設備造價較高，不能大規模使用。最近的研究主要集中在基于外觀的估計上，與基于模型的方法不同，基于外觀的方法實現了令人滿意的性能，同時保持了用戶友好的數據采集程序，而不需要在面部姿勢上進行額外的先驗或進行精細的系統校準。

但是，盡管基于外觀的估計是理想的凝視估計器，但現有的解決方案仍然對頭部姿勢、光照不一致、遮擋、低圖像質量等比較敏感。特別是，凝視估計的準確性在不同受試者中仍然顯著不同。

發明內容

鑒于以上所述現有技術的缺點，本發明的目的在于提供凝視位置估計方法、計算機設備及存儲介質，利用多種姿態特征作為輸入，通過人工智能數學模型進行位置估計點的預測，并能有效消除深度信息中的干擾，解決現有技術的問題。

為實現上述目標及其他相關目標，本發明提供一種凝視位置估計方法，包括：根據人臉 RGBD圖像中目標人物的雙眼圖像提取雙眼的眼球姿態特征；根據人臉RGBD圖像獲取頭部姿態特征及頭部深度特征；將人臉RGBD圖像中眼部所在位置的圖像坐標同所述頭部深度特征中的對應位置的深度信息合成以得到眼部的空間位置特征；合成所述眼球姿態特征、頭部姿態特征、及眼部的空間位置特征為綜合特征，并輸入一凝視位置估計模型以估計凝視位置。

于一實施例中，所述眼球姿態特征通過基于ResNet模型的提取器提取。

于一實施例中，所述頭部姿態特征和/或頭部深度特征是通過生成對抗網絡模型生成的。

于一實施例中，所述頭部姿態特征的方式包括：從所述人臉RGBD圖像截取包含眼部的子圖像，并從所述子圖像提取其原始彩色特征及原始深度特征；對所述原始彩色特征與原始深度特征分別進行特征提取以形成待用彩色特征和待用深度特征，合成所述待用彩色特征和待用深度特征為合成特征；將所述合成特征按所述原始深度特征的尺寸進行還原，以得到所述頭部姿態特征；和/或，所述頭部深度特征的提取方式包括：將所述合成特征按能與所述頭部姿態特征合成的預定尺寸進行處理，以得到所述頭部深度特征。

于一實施例中，所述生成對抗網絡模型具有的生成器包含一或多個卷積層和池化層，用于提取所述所述原始彩色特征與原始深度特征；所述生成器還包括與該一或多個卷積層和池化層相對的一或多個反卷積層和反池化層，用于還原所述合成特征以得到所述頭部深度特征。