[發明專利]一種基于2D圖像的3D虛擬換裝模型生成方法及裝置

有效

• 申請號: 202211564381.7
• 申請日: 2022-12-07
• 公開（公告）號: CN115761143B
• 公開（公告）日: 2023-09-19
• 發明（設計）人: 姜明華;王譽霖;余鋒;王文婷;周昌龍;宋坤芳
• 申請（專利權）人: 武漢紡織大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06V10/26;G06V10/46;G06V10/80;G06T3/40
• 代理公司: 武漢信誠嘉合知識產權代理有限公司 42321
• 代理人: 馬林紅

1.一種基于2D圖像的3D虛擬換裝模型生成方法，其特征在于，包括以下步驟：

將人體全身圖和待試穿服裝的2D圖以及人體語義分割圖送入預處理網絡進行圖像處理；

將所述預處理網絡的輸出圖像送入深度預測網絡進行深度預測以得到初始服裝深度圖和初始人體深度圖；

將所述初始服裝深度圖和初始人體深度圖帶入深度優化模型生成網絡獲取三維服裝模型和三維人體模型；

將所述三維服裝模型和三維人體模型送入服裝試穿網絡進行模型融合和模型著色，得到3D虛擬換裝模型；

所述將人體全身圖和待試穿服裝的2D圖以及人體語義分割圖送入預處理網絡進行圖像處理的步驟還包括：

將人體全身圖和待試穿服裝的2D圖以及人體語義分割圖送入預處理網絡的第一部分進行特征提取，得到服裝關鍵點語義圖、人體關鍵點語義圖、去除服裝區域的人體語義圖和人體姿態灰度表示圖；

將人體全身圖和待試穿服裝的2D圖送入預處理網絡的第二部分進行預對齊操作，通過圖像旋轉與比例縮放將待試穿服裝的邊角與人體全身圖像的服裝輪廓進行預對齊，得到待試穿服裝的預對齊圖；

將所述預對齊圖、人體全身圖、服裝關鍵點語義圖、人體關鍵點語義圖和人體姿態灰度表示圖送入預處理網絡的第三部分進行服裝變換，根據人體的當前姿態，通過插值法將服裝褶皺、紋理特征轉移到待試穿服裝的預對齊圖上，得到貼合人體姿態的服裝變形圖；

所述預對齊操作的實現過程可表示為：

其中，S表示待試穿服裝的2D圖的特征向量；和分別代表待試穿服裝的2D圖的中心點坐標和人體全身圖中服裝區域的中心點坐標；和分別代表待試穿服裝的2D圖的服裝上邊界減去下邊界的行距和人體全身圖中服裝區域的上邊界減去下邊界的行距；和分別代表待試穿服裝的2D圖的高度和人體全身圖中的高度；和分別代表待試穿服裝的2D圖的服裝中心點的法線角度和人體全身圖中服裝區域的中心點的法線角度；、和分別代表了圖像縮放因子、圖像旋轉因子與圖像平移因子。

2.如權利要求1所述的一種基于2D圖像的3D虛擬換裝模型生成方法，其特征在于，所述人體全身圖包括正面視圖和背面視圖，所述待試穿服裝的2D圖也包括正面視圖和背面視圖，

所述將人體全身圖的正面視圖和待試穿服裝的2D圖的正面視圖以及人體語義分割圖送入預處理網絡進行正面視圖的圖像處理；

再所述將人體全身圖的背面視圖和待試穿服裝的2D圖的背面視圖以及人體語義分割圖送入預處理網絡進行背面視圖的圖像處理。

3.如權利要求1所述的一種基于2D圖像的3D虛擬換裝模型生成方法，其特征在于，所述將所述預處理網絡的輸出圖像送入深度預測網絡進行深度預測以得到初始服裝深度圖和初始人體深度圖的步驟還包括：

將所述服裝變形圖、人體全身圖、去除服裝區域的人體語義圖、人體姿態灰度表示圖送入深度預測網絡，通過深度預測操作將二維圖像特征送入深度編碼器，得到初始服裝深度圖和初始人體深度圖，其中，

所述深度預測操作為將二維圖像的像素通道映射到深度通道。

4.如權利要求3所述的一種基于2D圖像的3D虛擬換裝模型生成方法，其特征在于，所述深度預測操作在訓練過程中使用的損失函數的具體表示式為：

其中，X表示樣本集，表示位置深度信息點在真實值中的占有率或正確率，表示樣本集中的第x樣本所估計的正面深度圖，?表示樣本集中的第x樣本所估計的背面深度圖，表示該樣本的正面深度圖的真實標簽值，表示該樣本的背面深度圖的真實標簽值，L1為最小絕對值偏差。

5.如權利要求1所述的一種基于2D圖像的3D虛擬換裝模型生成方法，其特征在于，所述將所述初始服裝深度圖和初始人體深度圖帶入深度優化模型生成網絡獲取三維服裝模型和三維人體模型的步驟包括：

通過對初始服裝深度圖和初始人體深度圖的局部信息和梯度信息進行優化，得到細化的服裝深度圖和細化的人體深度圖；

利用深度轉換操作將細化的服裝深度圖和細化的人體深度圖轉換為三維服裝模型和三維人體模型，其中所述深度轉換操作將二維深度圖轉換為三維點云。