[發明專利]人臉姿態估計/三維人臉重構方法、裝置及電子設備

在審

• 申請號: 201810983040.0
• 申請日: 2018-08-27
• 公開（公告）號: CN110866864A
• 公開（公告）日: 2020-03-06
• 發明（設計）人: 周世威
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 蘇培華

1.一種人臉姿態估計方法，其特征在于，包括：

獲取待處理的二維人臉圖像；

構建所述二維人臉圖像對應的三維人臉模型；

根據所述三維人臉模型的人臉特征點和所述二維人臉圖像的人臉特征點，確定所述二維人臉圖像的人臉姿態。

2.根據權利要求1所述的方法，其特征在于，所述構建所述二維人臉圖像對應的三維人臉模型，包括：

通過人臉形狀擬合算法，構建所述二維人臉圖像對應的三維人臉模型。

3.根據權利要求2所述的方法，其特征在于，所述人臉形狀擬合算法包括：

根據所述二維人臉圖像的人臉內部特征點和三維平均臉模型的人臉內部特征點，確定所述三維平均臉模型至所述二維人臉圖像的投影映射矩陣；

根據所述投影映射矩陣和三維特征臉空間的特征向量，構建所述二維人臉圖像對應的第一三維人臉模型；

根據所述二維人臉圖像的人臉輪廓特征點，對所述第一三維模型進行輪廓特征點擬合；

若所述二維人臉圖像與人臉輪廓特征點擬合后的三維人臉模型之間的誤差小于預設誤差，則將所述人臉輪廓特征點擬合后的三維人臉模型作為所述三維人臉模型。

4.根據權利要求3所述的方法，其特征在于，還包括：

若所述誤差大于或等于預設誤差，則根據所述人臉輪廓特征點擬合后的三維人臉模型，構建所述二維人臉圖像對應的三維人臉模型。

5.根據權利要求1所述的方法，其特征在于，所述構建所述二維人臉圖像對應的表情三維人臉模型，包括：

通過人臉表情擬合算法，構建所述二維人臉圖像對應的三維人臉模型。

6.根據權利要求1所述的方法，其特征在于，所述構建所述二維人臉圖像對應的三維人臉模型，包括：

通過人臉形狀及表情擬合算法，構建所述二維人臉圖像對應的三維人臉模型。

7.根據權利要求6所述的方法，其特征在于，所述人臉形狀及表情擬合算法包括：

根據所述二維人臉圖像的人臉內部特征點和三維平均臉模型的人臉內部特征點，確定所述三維平均臉模型至所述二維人臉圖像的投影映射矩陣；

根據所述投影映射矩陣和三維特征臉空間的特征向量，構建所述二維人臉圖像對應的第一三維人臉模型；

根據所述二維人臉圖像的人臉輪廓特征點，對所述第一三維模型進行輪廓特征點擬合；

根據所述二維人臉圖像的人臉內部特征點和所述三維平均臉模型對應的至少一個表情基，對輪廓擬合后的三維人臉模型進行表情擬合；

若所述二維人臉圖像與表情擬合后的三維人臉模型之間的誤差小于預設誤差，則將表情擬合后的三維人臉模型作為所述三維人臉模型。

8.根據權利要求7所述的方法，其特征在于，還包括：

若所述誤差大于或等于預設誤差，則根據所述表情擬合后的三維人臉模型，構建所述二維人臉圖像對應的三維人臉模型。

9.根據權利要求3或7所述的方法，其特征在于，所述根據所述二維人臉圖像的人臉輪廓特征點，對所述第一三維模型進行輪廓特征點擬合，包括：

從所述第一三維人臉模型中選取和所述二維人臉圖像的人臉輪廓特征點對應的三維點，作為初始三維輪廓特征點；

通過所述投影映射矩陣，將所述初始三維輪廓特征點映射至所述二維人臉圖像；

通過最近鄰匹配算法，選取映射得到的二維輪廓特征點對應的三維點，作為所述第一三維人臉模型的人臉輪廓特征點。

10.根據權利要求3或7所述的方法，其特征在于，還包括：

根據三維人臉模型樣本，確定所述三維平均臉模型和所述特征向量。

11.根據權利要求7所述的方法，其特征在于，還包括：

根據三維人臉模型樣本，確定所述三維平均臉模型對應的至少一個表情基。