[發明專利]人臉姿態估計/三維人臉重構方法、裝置及電子設備

在審

• 申請號: 201810983040.0
• 申請日: 2018-08-27
• 公開（公告）號: CN110866864A
• 公開（公告）日: 2020-03-06
• 發明（設計）人: 周世威
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 蘇培華

本申請公開了人臉姿態估計方法和裝置，三維人臉重構方法和裝置，以及電子設備。其中，人臉姿態估計方法包括：獲取待處理的二維人臉圖像，構建所述二維人臉圖像對應的三維人臉模型，根據所述三維人臉模型的人臉特征點和所述二維人臉圖像的人臉特征點，確定所述二維人臉圖像的人臉姿態。采用這種處理方式，使得基于與二維人臉圖像對應的三維人臉模型進行姿態求解，而不再只基于三維平均臉模型進行姿態求解，使得在對人臉大角度、夸張表情進行姿態估計時，仍可獲得較高精準度的姿態；因此，可以有效提升姿態估計的魯棒性。

技術領域

本申請涉及圖像處理技術領域，具體涉及人臉姿態估計方法和裝置，三維人臉重構方法和裝置，以及電子設備。

背景技術

人臉姿態估計是計算機領域一個非常熱門的問題，是指根據人臉圖像確定臉部朝向的角度信息，即：根據人臉圖像的特征計算出三個偏轉角度：俯仰角(pitch)、偏航角(yaw)和旋轉角(roll)。

目前，人臉姿態估計有多種方法，可以分為基于模型的方法，基于表觀的方法，以及，基于分類的方法。其中，由于基于模型的方法得到的人臉姿態是連續值，姿態估計精度更高，因此基于模型的方法成為一種常用方法。一種典型的基于模型的人臉姿態估計方法的處理過程如下所述。首先，在二維人臉圖像上定位關鍵點(特征點)坐標，獲得二維關鍵點，如五官、輪廓等；然后，構建一個中性且無表情的平均臉的三維模型，并在該三維模型中提取與二維關鍵點具有相同語義的三維關鍵點；接下來，再根據二維關鍵點的坐標數值、三維關鍵點的坐標數值和攝像機焦距，獲得三維平均臉模型至二維人臉圖像的旋轉矩陣；最后，根據旋轉矩陣確定二維人臉圖像的人臉姿態。

然而，在實現本發明過程中，發明人發現現有技術至少存在如下問題：由于三維平均臉模型和二維人臉圖像通常存在差異，因此，在對人臉大角度、夸張表情進行姿態估計時，姿態估計的精準度將較大幅度降低。綜上所述，現有技術存在基于三維平均臉模型進行姿態估計的魯棒性較差的問題。

發明內容

本申請提供人臉姿態估計方法，以解決現有技術存在基于三維平均臉模型進行姿態估計的魯棒性較差的問題。本申請另外提供三維人臉重構方法和系統，以及電子設備。

本申請提供一種人臉姿態估計方法，包括：

獲取待處理的二維人臉圖像；

構建所述二維人臉圖像對應的三維人臉模型；

根據所述三維人臉模型的人臉特征點和所述二維人臉圖像的人臉特征點，確定所述二維人臉圖像的人臉姿態。

可選的，所述構建所述二維人臉圖像對應的三維人臉模型，包括：

通過人臉形狀擬合算法，構建所述二維人臉圖像對應的三維人臉模型。

可選的，所述人臉形狀擬合算法包括：

根據所述二維人臉圖像的人臉內部特征點和三維平均臉模型的人臉內部特征點，確定所述三維平均臉模型至所述二維人臉圖像的投影映射矩陣；

根據所述投影映射矩陣和三維特征臉空間的特征向量，構建所述二維人臉圖像對應的第一三維人臉模型；

根據所述二維人臉圖像的人臉輪廓特征點，對所述第一三維模型進行輪廓特征點擬合；

若所述二維人臉圖像與人臉輪廓特征點擬合后的三維人臉模型之間的誤差小于預設誤差，則將所述人臉輪廓特征點擬合后的三維人臉模型作為所述三維人臉模型。

可選的，還包括：

若所述誤差大于或等于預設誤差，則根據所述人臉輪廓特征點擬合后的三維人臉模型，構建所述二維人臉圖像對應的三維人臉模型。

可選的，所述構建所述二維人臉圖像對應的表情三維人臉模型，包括：