[發明專利]凝視位置估計方法、計算機設備及存儲介質

有效

• 申請號: 201811545705.6
• 申請日: 2018-12-18
• 公開（公告）號: CN109684969B
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 高盛華;廉東澤;張子恒
• 申請（專利權）人: 上海科技大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V40/18;G06V20/64;G06V10/82;G06N3/04
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 高彥

1.一種凝視位置估計方法，其特征在于，包括：

根據人臉RGBD圖像中目標人物的雙眼圖像提取雙眼的眼球姿態特征；

根據人臉RGBD圖像獲取頭部姿態特征及頭部深度特征；

將人臉RGBD圖像中眼部所在位置的圖像坐標同所述頭部深度特征中的對應位置的深度信息合成以得到眼部的空間位置特征；

合成所述眼球姿態特征、頭部姿態特征、及眼部的空間位置特征為綜合特征，并輸入一凝視位置估計模型以估計凝視位置。

2.根據權利要求1所述的凝視位置估計方法，其特征在于，所述眼球姿態特征通過基于ResNet模型的提取器提取。

3.根據權利要求1所述的凝視位置估計方法，其特征在于，所述頭部姿態特征和/或頭部深度特征是通過生成對抗網絡模型生成的。

4.根據權利要求3所述的凝視位置估計方法，其特征在于，所述頭部姿態特征的方式包括：

從所述人臉RGBD圖像截取包含眼部的子圖像，并從所述子圖像提取其原始彩色特征及原始深度特征；

對所述原始彩色特征與原始深度特征分別進行特征提取以形成待用彩色特征和待用深度特征，合成所述待用彩色特征和待用深度特征為合成特征；

將所述合成特征按所述原始深度特征的尺寸進行還原，以得到所述頭部姿態特征；

和/或，所述頭部深度特征的提取方式包括：將所述合成特征按能與所述頭部姿態特征合成的預定尺寸進行處理，以得到所述頭部深度特征。

5.根據權利要求3所述的凝視位置估計方法，其特征在于，所述生成對抗網絡模型具有的生成器包含一或多個卷積層和池化層，用于提取所述所述原始彩色特征與原始深度特征；所述生成器還包括與該一或多個卷積層和池化層相對的一或多個反卷積層和反池化層，用于還原所述合成特征以得到所述頭部深度特征。

6.根據權利要求5所述的凝視位置估計方法，其特征在于，所述一或多個卷積層和池化層是由VGG模型或GoogleLeNet模型中的部分所實現。

7.根據權利要求4所述的凝視位置估計方法，其特征在于，所述對抗網絡模型還包括：深度損失函數，用于約束生成的頭部深度特征與作為其生成依據的原始深度特征最為近似。

8.根據權利要求1所述的凝視位置估計方法，其特征在于，所述眼球姿態特征分為左眼的眼球姿態特征和右眼的眼球姿態特征，所述眼部的空間位置特征分為左眼的空間位置特征和右眼的空間位置特征；所述左眼的眼球姿態特征、頭部姿態特征、及左眼的空間位置特征進行合成為一第一輸入特征，所述右眼的眼球姿態特征、頭部姿態特征、及右眼的空間位置特征進行合成為一第二輸入特征，所述凝視位置估計模型對第一輸入特征和第二輸入特征進行綜合以得到估計凝視位置。

9.一種計算機設備，其特征在于，包括：處理器及存儲器；

所述存儲器，存儲有計算機程序；

所述處理器，用于運行所述計算機程序，以實現如權利要求1至8中任一項所述的方法。

10.一種計算機存儲介質，其特征在于，存儲有計算機程序，所述計算機程序被運行時實現如權利要求1至8中任一項所述的凝視位置估計方法。