[發明專利]三維人體重建方法、裝置、設備及存儲介質

有效

• 申請號: 202110352199.4
• 申請日: 2021-03-31
• 公開（公告）號: CN113012282B
• 公開（公告）日: 2023-05-19
• 發明（設計）人: 宋勃宇;鄧又銘;劉文韜;錢晨
• 申請（專利權）人: 深圳市慧鯉科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06V10/80;G06N3/0464;G06N3/0475
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 靳玫

1.一種三維人體重建方法，其特征在于，所述方法包括：

基于目標人體的單張人體圖像進行人體幾何重建，得到所述目標人體的三維網格模型；

基于所述目標人體的單張人體圖像，對所述目標人體的局部部位進行局部幾何重建，得到所述局部部位的三維網格模型；

將所述局部部位的三維網格模型與所述目標人體的三維網格模型進行融合，得到初始三維模型；

根據所述初始三維模型和所述單張人體圖像，進行所述目標人體的人體紋理的重建，得到所述目標人體的三維人體模型，包括：對所述單張人體圖像進行人體分割，得到第一分割掩碼、第二分割掩碼和目標人體的正面紋理；其中，所述第一分割掩碼對應所述正面紋理的掩碼區域，所述第二分割掩碼對應于目標人體的背面紋理的掩碼區域；將所述正面紋理、所述第一分割掩碼和第二分割掩碼，輸入紋理生成網絡，得到所述目標人體的所述背面紋理；基于所述背面紋理和正面紋理，得到所述目標人體對應的帶有紋理的三維人體模型。

2.根據權利要求1所述的方法，其特征在于，所述基于目標人體的單張人體圖像進行人體幾何重建，得到所述目標人體的三維網格模型，包括：

通過第一深度神經網絡分支對所述目標人體的單張人體圖像進行三維重建，得到第一人體模型；

通過第二深度神經網絡分支對所述單張人體圖像中的局部圖像進行三維重建，得到第二人體模型；其中，所述局部圖像包括所述目標人體的局部區域；

將所述第一人體模型和第二人體模型進行融合，得到融合人體模型；

對所述融合人體模型進行網格化處理，得到所述目標人體的三維網格模型。

3.根據權利要求2所述的方法，其特征在于，所述第一深度神經網絡分支包括：全局特征子網絡和第一擬合子網絡；所述第二深度神經網絡分支包括：局部特征子網絡和第二擬合子網絡；

所述通過第一深度神經網絡分支對所述目標人體的單張人體圖像進行三維重建，得到第一人體模型，包括：通過所述全局特征子網絡對所述單張人體圖像進行特征提取，得到第一圖像特征；通過所述第一擬合子網絡基于所述第一圖像特征得到所述第一人體模型；

所述通過第二深度神經網絡分支對所述單張人體圖像中的局部圖像進行三維重建，得到第二人體模型，包括：通過所述局部特征子網絡對所述局部圖像進行特征提取，得到第二圖像特征；通過所述第二擬合子網絡基于所述第二圖像特征以及所述第一擬合子網絡輸出的中間特征，得到所述第二人體模型。

4.根據權利要求1至3任一所述的方法，其特征在于，所述基于所述目標人體的單張人體圖像，對所述目標人體的局部部位進行局部幾何重建，得到所述局部部位的三維網格模型，包括：

對所述目標人體的單張人體圖像進行特征提取，得到第三圖像特征；

根據所述第三圖像特征、以及所述局部部位的三維拓撲模板，確定所述局部部位的三維網格模型。

5.根據權利要求1至3任一所述的方法，其特征在于，所述將所述局部部位的三維網格模型與所述目標人體的三維網格模型進行融合，得到初始三維模型，包括：

根據所述目標人體的單張人體圖像，獲得所述局部部位的多個關鍵點；

確定所述多個關鍵點在所述目標人體的三維網格模型上對應的第一模型關鍵點的信息，以及，確定所述多個關鍵點在所述局部部位的三維網格模型上對應的第二模型關鍵點的信息；

基于所述第一模型關鍵點的信息和所述第二模型關鍵點的信息，將所述局部部位的三維網格模型融合至所述目標人體的三維網格模型，得到所述初始三維模型。

6.根據權利要求5所述的方法，其特征在于，所述基于所述第一模型關鍵點的信息和所述第二模型關鍵點的信息，將所述局部部位的三維網格模型融合至所述目標人體的三維網格模型，得到所述初始三維模型，包括：

基于所述第一模型關鍵點的信息和所述第二模型關鍵點的信息，確定所述目標人體的三維網格模型與所述局部部位的三維網格模型間的坐標變換關系；

根據所述坐標變換關系，將所述局部部位的三維網格模型變換到所述目標人體的三維網格模型的坐標系下；

在變換后的坐標系下將所述局部部位的三維網格模型融合至所述目標人體的三維網格模型，得到所述初始三維模型。