[發明專利]重建網絡的訓練方法、重建方法、裝置、設備和介質

在審

• 申請號: 202211067543.6
• 申請日: 2022-09-01
• 公開（公告）號: CN115482353A
• 公開（公告）日: 2022-12-16
• 發明（設計）人: 楊黔生
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06V10/82;G06V40/10;G06V10/40;G06N3/04;G06N3/08
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 蔡舒野

本公開提供了一種3D人體重建網絡的訓練方法、3D人體重建方法、裝置、設備、介質和程序產品，涉及人工智能技術領域，尤其涉及深度學習、圖像處理和計算機視覺技術，可應用于3D視覺、增強現實等場景。其中，3D人體重建網絡的訓練方法的具體實現方案為：利用人體模型參數的樣本數據訓練變分自編碼網絡，確定所述變分自編碼網絡中解碼器的模型參數；根據特征提取網絡和所述解碼器構建重建網絡；固化所述重建網絡中所述解碼器的模型參數，并利用人體圖像的樣本數據對所述重建網絡進行監督訓練，其中，所述重建網絡用于預測所述人體圖像的人體模型參數。本公開可以產生更自然的3D人體形態，保證重建網絡輸出的有效性和穩定性。

技術領域

本公開涉及人工智能技術領域，尤其涉及深度學習、圖像處理和計算機視覺技術，可應用于3D視覺、增強現實等場景，具體涉及一種3D人體重建網絡的訓練方法、3D人體重建方法、裝置、設備、介質和程序產品。

背景技術

隨著社會的進步和科技的迅猛發展，短視頻、直播和在線教育等行業不斷地興起。在各種交互場景中，基于人體模型重建信息進行互動的功能需求越來越多。其中，SMPL(Skinned Multi-Person Linear Model)就是一種裸體的(skinned)、基于頂點(vertex-based)的人體三維模型。它是一種參數化的人體模型，能夠精確地表示人體的不同形狀(shape)和姿態(pose)，通過身體形狀參數和姿勢參數驅動人體模型，精準地刻畫人的肌肉拉伸以及收縮運動的形貌。

現有技術中的人體3D重建方案，通常是直接利用RGB圖像特征進行3D人體建模。然而，一方面，單張RGB圖像往往存在身體自遮擋，從而導致建模困難；另一方面，由于使用圖像特征進行重建，經常會出現人體關鍵點角度不合理的狀況，使得重建的3D人體模型會出現穿模或姿態怪異等問題，繼而無法產生自然的人體形態。

發明內容

本公開提供了一種3D人體重建網絡的訓練方法、3D人體重建方法、裝置、設備、介質和程序產品。

根據本公開的一方面，提供了一種3D人體重建網絡的訓練方法，包括：

利用人體模型參數的樣本數據訓練變分自編碼網絡，確定所述變分自編碼網絡中解碼器的模型參數；

根據特征提取網絡和所述解碼器構建重建網絡；

固化所述重建網絡中所述解碼器的模型參數，并利用人體圖像的樣本數據對所述重建網絡進行監督訓練，其中，所述重建網絡用于預測所述人體圖像的人體模型參數。

根據本公開的另一方面，提供了一種3D人體重建方法，包括：

將目標圖像輸入預先訓練的重建網絡，其中，所述重建網絡包括特征提取網絡和解碼器；

利用所述特征提取網絡提取所述目標圖像的目標語義特征，并對所述目標語義特征進行編碼產生目標隱特征；

利用所述解碼器對所述目標隱特征進行解碼，得到所述目標圖像的目標人體模型參數；

根據所述目標人體模型參數進行3D人體重建。

根據本公開的另一方面，提供了一種3D人體重建網絡的訓練裝置，包括：

變分自編碼網絡訓練模塊，用于利用人體模型參數的樣本數據訓練變分自編碼網絡，確定所述變分自編碼網絡中解碼器的模型參數；

重建網絡構建模塊，用于根據特征提取網絡和所述解碼器構建重建網絡；

重建網絡訓練模塊，用于固化所述重建網絡中所述解碼器的模型參數，并利用人體圖像的樣本數據對所述重建網絡進行監督訓練，其中，所述重建網絡用于預測所述人體圖像的人體模型參數。

根據本公開的另一方面，提供了一種3D人體重建裝置，包括：