[發明專利]三維人臉模型重建方法、裝置、電子設備及存儲介質

有效

• 申請號: 202110082037.3
• 申請日: 2021-01-21
• 公開（公告）號: CN112884881B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 柴金祥;其他發明人請求不公開姓名
• 申請（專利權）人: 魔琺（上海）信息科技有限公司;上海墨舞科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06V40/16
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

1.一種三維人臉模型重建方法，其特征在于，所述方法包括：

獲取單相機人臉圖像；

將所述單相機人臉圖像輸入至人臉信息預測模型中，經所述人臉信息預測模型輸出所述單相機人臉圖像中的目標人臉二維特征點和目標紋理映射信息；

利用身份參數、人臉姿態參數和表情參數確定三維人臉模型，使得所述三維人臉模型確定的人臉二維特征點與所述目標人臉二維特征點相匹配、確定的紋理映射信息和目標紋理映射信息相匹配，所述紋理映射信息包括人臉圖像像素點到所述三維人臉模型的網格頂點的唯一標識的映射關系。

2.根據權利要求1所述的方法，其特征在于，所述獲取單相機人臉圖像，包括：

獲取包含人臉圖像在內的單相機圖像；

對所述單相機圖像進行人臉檢測，并從所述單相機圖像中截取單相機人臉圖像。

3.根據權利要求1所述的方法，其特征在于，所述人臉信息預測模型被設置為按照下述方式訓練得到：

獲取多個單相機人臉樣本圖像，所述單相機人臉樣本圖像中標注有人臉二維特征點和紋理映射信息；

構建人臉信息預測模型，所述人臉信息預測模型中設置有模型參數；

將所述單相機人臉樣本圖像輸入至所述人臉信息預測模型中，生成預測結果，所述預測結果包括預測得到的人臉二維特征點和紋理映射信息；

基于所述預測結果與所述人臉二維特征點、所述紋理映射信息之間的差異，對所述模型參數進行迭代調整，直至所述差異滿足預設要求。

4.根據權利要求3所述的方法，其特征在于，所述單相機人臉樣本圖像被設置為按照下述方式獲取：

利用多相機同時從不同角度采集得到同一人臉的多個單相機圖像；

利用所述多個單相機圖像重建得到所述人臉的三維人臉模型；

將所述人臉的所述三維人臉模型分別投影至所述多個單相機圖像中，分別獲取所述多個單相機圖像中的人臉二維特征點和紋理映射信息；

根據所述人臉二維特征點和/或所述紋理映射信息，分別從所述多個單相機圖像中分割出人臉圖像，并將多個所述人臉圖像作為訓練所述人臉信息預測模型所使用的單相機人臉樣本圖像。

5.根據權利要求1所述的方法，其特征在于，所述利用身份參數、人臉姿態參數和表情參數確定三維人臉模型，使得所述三維人臉模型確定的人臉二維特征點與所述目標人臉二維特征點相匹配、確定的紋理映射信息和目標紋理映射信息相匹配，包括：

交替固定身份參數、人臉姿態參數和表情參數中的其中一種或兩種參數，調整另外兩種或一種參數，生成三維人臉模型，使得所述三維人臉模型確定的人臉二維特征點與所述目標人臉二維特征點相匹配、確定的紋理映射信息和目標紋理映射信息相匹配。

6.根據權利要求5所述的方法，其特征在于，所述交替固定身份參數、人臉姿態參數和表情參數中的其中一種或兩種參數，調整另外兩種或一種參數，生成三維人臉模型，包括：

交替固定身份參數、人臉姿態參數和表情參數中的其中一種或兩種參數，調整另外兩種或一種參數，生成預測三維人臉模型；

將所述預測三維人臉模型投影至所述單相機人臉圖像中，獲取預測人臉二維特征點和預測紋理映射信息；

基于所述預測人臉二維特征點與所述目標人臉二維特征點、所述預測紋理映射信息與所述目標紋理映射信息之間的差異，對所述另外兩種或一種參數進行迭代調整，直至所述差異或者迭代次數中的至少一個滿足預設要求。