[發明專利]人臉三維重建方法、裝置、電子設備及可讀存儲介質

有效

• 申請號: 201911215540.0
• 申請日: 2019-12-02
• 公開（公告）號: CN111161397B
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 賈貝;陳錦偉;馬晨光
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/33;G06V40/16
• 代理公司: 北京眾達德權知識產權代理有限公司 11570
• 代理人: 劉進

1.一種人臉三維重建方法，包括：

獲取多幀人臉圖像，其中，所述多幀人臉圖像中每幀人臉圖像包括二維人臉數據和三維人臉數據；

針對所述多幀人臉圖像中的每幀人臉圖像，將該幀人臉圖像的二維關鍵點集進行三維映射，并根據三維映射得到的三維關鍵點集進行采樣，得到該幀人臉圖像的三維采樣點集；

從所述多幀人臉圖像中選取一幀人臉圖像作為目標人臉圖像，針對剩余幀人臉圖像中的每幀人臉圖像，根據該幀人臉圖像的三維采樣點集和所述目標人臉圖像的目標三維人臉數據進行坐標轉換，并對坐標轉換后的三維采樣點集進行配準，得到該幀人臉圖像的配準數據，其中，所述剩余幀人臉圖像為所述多幀人臉圖像中除所述目標人臉圖像之外的所有人臉圖像；

根據所述剩余幀人臉圖像中每幀人臉圖像的配準數據和所述目標人臉圖像的三維關鍵點集，對所述目標人臉圖像進行三維重建，得到重建三維人臉圖像。

2.如權利要求1所述的重建方法，所述針對所述多幀人臉圖像中的每幀人臉圖像，將該幀人臉圖像的二維關鍵點集進行三維映射，并根據三維映射得到的三維關鍵點集進行采樣，得到該幀人臉圖像的三維采樣點集，包括：

針對所述多幀人臉圖像中的每幀人臉圖像，對該幀人臉圖像中的二維人臉數據進行關鍵點檢測，得到該幀人臉圖像的二維關鍵點集；將該幀人臉圖像的二維關鍵點集映射到該幀人臉圖像中的三維人臉數據中，得到該幀人臉圖像的三維關鍵點集；根據該幀人臉圖像中的三維關鍵點集，對該幀人臉圖像中的三維人臉數據進行采樣，得到該幀人臉圖像的三維采樣點集。

3.如權利要求2所述的重建方法，所述針對所述多幀人臉圖像中的每幀人臉圖像，將該幀人臉圖像的二維關鍵點集映射到該幀人臉圖像中的三維人臉數據中，得到該幀人臉圖像的三維關鍵點集，包括：

針對所述多幀人臉圖像中的每幀人臉圖像，將該幀人臉圖像中的二維人臉數據和三維人臉數據進行特征匹配，得到該幀人臉圖像的轉換矩陣；根據該幀人臉圖像的轉換矩陣和該幀人臉圖像的二維關鍵點集，得到該幀人臉圖像的三維關鍵點集。

4.如權利要求3所述的重建方法，所述針對所述多幀人臉圖像中的每幀人臉圖像，根據該幀人臉圖像中的三維關鍵點集，對該幀人臉圖像中的三維人臉數據進行采樣，得到該幀人臉圖像的三維采樣點集，包括：

針對每幀人臉圖像，根據該幀人臉圖像的三維關鍵點集，從該幀人臉圖像的三維人臉數據中確定出該幀人臉圖像的采樣區域，在該幀人臉圖像中的采樣區域中進行采樣，得到該幀人臉圖像的三維采樣點集。

5.如權利要求1所述的重建方法，所述針對剩余幀人臉圖像中的每幀人臉圖像，根據該幀人臉圖像的三維采樣點集和所述目標人臉圖像的目標三維人臉數據進行坐標轉換，并對坐標轉換后的三維采樣點集進行配準，得到該幀人臉圖像的配準數據，包括：

針對剩余幀人臉圖像中的每幀人臉圖像，根據該幀人臉圖像的三維采樣點集和所述目標人臉圖像的目標三維人臉數據，將該幀人臉圖像的三維人臉數據進行坐標轉換，得到該幀人臉圖像的轉換三維人臉數據；對該幀人臉圖像的轉換三維人臉數據和所述目標三維人臉數據進行配準，得到該幀人臉圖像的配準數據。

6.如權利要求5所述的重建方法，所述針對剩余幀人臉圖像中的每幀人臉圖像，根據該幀人臉圖像的三維采樣點集和所述目標人臉圖像的目標三維人臉數據，將該幀人臉圖像的三維人臉數據進行坐標轉換，得到該幀人臉圖像的轉換三維人臉數據，包括：

針對所述剩余幀人臉圖像中的每幀人臉圖像，使用配準算法對該幀人臉圖像的三維采樣點集和所述目標三維人臉數據進行配準，得到該幀人臉圖像的轉換矩陣；根據該幀人臉圖像的轉換矩陣和該幀人臉圖像的三維人臉數據，得到該幀人臉圖像的轉換三維人臉數據。