[發(fā)明專利]一種基于2D圖像的3D虛擬換裝模型生成方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202211564381.7
• 申請(qǐng)日: 2022-12-07
• 公開(kāi)（公告）號(hào): CN115761143B
• 公開(kāi)（公告）日: 2023-09-19
• 發(fā)明（設(shè)計(jì)）人: 姜明華;王譽(yù)霖;余鋒;王文婷;周昌龍;宋坤芳
• 申請(qǐng)（專利權(quán)）人: 武漢紡織大學(xué)
• 主分類號(hào): G06T17/00
• 分類號(hào): G06T17/00;G06V10/26;G06V10/46;G06V10/80;G06T3/40
• 代理公司: 武漢信誠(chéng)嘉合知識(shí)產(chǎn)權(quán)代理有限公司 42321
• 代理人: 馬林紅

本發(fā)明涉及一種基于2D圖像的3D虛擬換裝模型生成方法，包括以下步驟：將人體全身圖和待試穿服裝的2D圖以及人體語(yǔ)義分割圖送入預(yù)處理網(wǎng)絡(luò)進(jìn)行圖像處理；將所述預(yù)處理網(wǎng)絡(luò)的輸出圖像送入深度預(yù)測(cè)網(wǎng)絡(luò)進(jìn)行深度預(yù)測(cè)以得到初始服裝深度圖和初始人體深度圖；將所述初始服裝深度圖和初始人體深度圖帶入深度優(yōu)化模型生成網(wǎng)絡(luò)獲取三維服裝模型和三維人體模型；將所述三維服裝模型和三維人體模型送入服裝試穿模塊進(jìn)行模型融合和模型著色，得到3D虛擬換裝模型。采用了更全面的信息來(lái)描述服裝與人體的特征，在小幅增加計(jì)算量的同時(shí)，加快了方法的收斂速度，提升了虛擬試衣的最終效果。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)圖形學(xué)技術(shù)領(lǐng)域，具體涉及一種基于2D圖像的3D虛擬換裝模型生成方法及裝置。

背景技術(shù)

在后疫情時(shí)代，公眾更加關(guān)注環(huán)境的衛(wèi)生安全，對(duì)于線下試衣間來(lái)說(shuō)，消費(fèi)者愈發(fā)重視狹窄密閉空間下的衛(wèi)生問(wèn)題；對(duì)于線上網(wǎng)店來(lái)說(shuō)，大量的退換貨無(wú)疑增加了賣家在時(shí)間與經(jīng)濟(jì)成本上的開(kāi)銷，而買家因?yàn)樯唐凡缓线m需要在快遞運(yùn)輸上進(jìn)行漫長(zhǎng)的等待，這些不確定性和滯后性始終困擾著廣泛的用戶群體。

現(xiàn)有的虛擬試衣方法中主要分為基于2D和基于3D的虛擬試衣，前者的試穿結(jié)果是在二維圖像空間中，例如公開(kāi)號(hào)為CN202111033391的中國(guó)專利“一種基于關(guān)鍵點(diǎn)聚類驅(qū)動(dòng)匹配的虛擬試衣圖像生成方法”利用關(guān)鍵點(diǎn)聚類匹配算法，對(duì)目標(biāo)衣服進(jìn)行扭曲處理，將扭曲后的目標(biāo)衣服與粗合成試穿圖像作為細(xì)化網(wǎng)絡(luò)的輸入，輸出合成真實(shí)圖像，但它忽略了潛在的三維身體信息，導(dǎo)致對(duì)人體的表現(xiàn)能力較差；后者的試穿結(jié)果實(shí)在三維空間中呈現(xiàn)，公開(kāi)號(hào)為CN201811159988的中國(guó)專利“基于單目深度相機(jī)的虛擬試衣方法及裝置”通過(guò)將RGB-D中的RGB通道輸入預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，并結(jié)合深度通道得到點(diǎn)云中每個(gè)點(diǎn)的類別以完成虛擬試衣，通過(guò)3D人體建模和3D服裝建模，實(shí)現(xiàn)了3D虛擬試衣，真實(shí)展示了用戶的試衣效果，但它需要昂貴的傳感器及服裝、人體的建模數(shù)據(jù)，即現(xiàn)有的三維虛擬試衣方法主要依賴于事先標(biāo)注的三維人體形狀和服裝模板。

現(xiàn)有的基于3D的虛擬試衣方法主要依賴于帶注釋的3D人形和服裝模板，因所需的時(shí)間與經(jīng)濟(jì)成本高昂，制約其技術(shù)的發(fā)展，這極大地阻礙了此類方法在實(shí)際場(chǎng)景中的應(yīng)用；而基于2D信息的虛擬試衣方法提供了一種更快的替代方案來(lái)操作目標(biāo)服裝與人物信息，但因?yàn)榇祟惙桨冈趯?shí)際應(yīng)用中缺乏豐富且逼真的三維表示而大為受限。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供了一種基于2D圖像的3D虛擬換裝模型生成方法及裝置，目的在于，采用了更全面的信息來(lái)描述服裝與人體的特征，在小幅增加計(jì)算量的同時(shí)，加快了方法的收斂速度，提升了虛擬試衣的最終效果。

為達(dá)上述目的，本發(fā)明采用了如下技術(shù)方案：

一種基于2D圖像的3D虛擬換裝模型生成方法，包括以下步驟：

將人體全身圖和待試穿服裝的2D圖以及人體語(yǔ)義分割圖送入預(yù)處理網(wǎng)絡(luò)進(jìn)行圖像處理；將所述預(yù)處理網(wǎng)絡(luò)的輸出圖像送入深度預(yù)測(cè)網(wǎng)絡(luò)進(jìn)行深度預(yù)測(cè)以得到初始服裝深度圖和初始人體深度圖；將所述初始服裝深度圖和初始人體深度圖帶入深度優(yōu)化的模型生成網(wǎng)絡(luò)獲取三維服裝模型和三維人體模型；將所述三維服裝模型和三維人體模型送入服裝試穿網(wǎng)絡(luò)進(jìn)行模型融合和模型著色，得到3D虛擬換裝模型。

進(jìn)一步的，所述將人體全身圖和待試穿服裝的2D圖以及人體語(yǔ)義分割圖送入預(yù)處理網(wǎng)絡(luò)進(jìn)行圖像處理的步驟還包括：

將人體全身圖和待試穿服裝的2D圖以及人體語(yǔ)義分割圖送入預(yù)處理網(wǎng)絡(luò)的第一部分進(jìn)行特征提取，得到服裝關(guān)鍵點(diǎn)語(yǔ)義圖、人體關(guān)鍵點(diǎn)語(yǔ)義圖、去除服裝區(qū)域的人體語(yǔ)義圖和人體姿態(tài)灰度表示圖。

將人體全身圖和待試穿服裝的2D圖送入預(yù)處理網(wǎng)絡(luò)的第二部分進(jìn)行預(yù)對(duì)齊操作，通過(guò)圖像旋轉(zhuǎn)與比例縮放將待試穿服裝的邊角與人體全身圖像的服裝輪廓進(jìn)行預(yù)對(duì)齊，得到待試穿服裝的預(yù)對(duì)齊圖。