[發(fā)明專利]一種基于神經(jīng)網(wǎng)絡(luò)的二維虛擬試衣方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911069738.2
• 申請(qǐng)日: 2019-11-05
• 公開（公告）號(hào): CN110852941B
• 公開（公告）日: 2023-08-01
• 發(fā)明（設(shè)計(jì)）人: 蘇卓;孫峰;周凡
• 申請(qǐng)（專利權(quán)）人: 中山大學(xué)
• 主分類號(hào): G06T3/00
• 分類號(hào): G06T3/00;G06T5/50;G06T7/11;G06T7/40;G06Q30/0601;G06N3/08;G06N3/0464
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種基于神經(jīng)網(wǎng)絡(luò)的二維虛擬試衣方法。本發(fā)明輸入原始人物圖和目標(biāo)服裝圖；提取人體外形圖、人體關(guān)節(jié)點(diǎn)圖和人體解析圖；通過編解碼器網(wǎng)絡(luò)生成目標(biāo)人體解析圖；卷積神經(jīng)網(wǎng)絡(luò)生成變形服裝圖；編解碼器網(wǎng)絡(luò)生成粗略結(jié)果圖和服裝掩碼圖；粗略結(jié)果圖與變形服裝圖通過服裝掩碼圖進(jìn)行重組生成最終效果圖。本發(fā)明應(yīng)用了二維圖片深度學(xué)習(xí)算法，相比于昂貴的三維硬件采集設(shè)備和計(jì)算量較大的三維計(jì)算，成本低、效率高；使用神經(jīng)網(wǎng)絡(luò)方法，通過編碼解碼結(jié)構(gòu)生成目標(biāo)人體解析圖，能最大限度指導(dǎo)神經(jīng)網(wǎng)絡(luò)保留原始圖片中人的各部位特征，使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)目標(biāo)服裝圖進(jìn)行服裝變形，能夠最大限度地保留目標(biāo)服裝圖的紋理信息。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺、圖像處理領(lǐng)域，具體涉及一種基于神經(jīng)網(wǎng)絡(luò)的二維虛擬試衣方法。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，網(wǎng)上購(gòu)物方式越來越普及。相比于實(shí)體店購(gòu)物，網(wǎng)上在線購(gòu)物具有商品種類多、購(gòu)物方便等優(yōu)勢(shì)。在所有的商品種類中，服裝商品占有重要的比重。但是在線服裝購(gòu)物也有一些缺陷。相比于實(shí)體店購(gòu)物中可以實(shí)時(shí)地?fù)Q裝查看服裝效果，在線服裝購(gòu)物無法提供針對(duì)消費(fèi)者本身的效果圖，消費(fèi)者無法實(shí)時(shí)直觀地獲取服裝對(duì)自身形象的影響。虛擬試衣技術(shù)可以通過為消費(fèi)者提供穿戴效果圖解決這一問題。

虛擬試衣是用戶不用脫去身上衣服，實(shí)現(xiàn)查看換裝效果的一種技術(shù)應(yīng)用。現(xiàn)有的技術(shù)應(yīng)用主要以三維虛擬試衣技術(shù)為主，通過三維采集設(shè)備采集人的三維信息并結(jié)合服裝的特征進(jìn)行合成，或者通過用戶提供的身體數(shù)據(jù)信息合成人體的三維模型結(jié)合服裝的特征進(jìn)行結(jié)合。整體上來說，三維虛擬試衣需要進(jìn)行大量的數(shù)據(jù)采集或者三維數(shù)據(jù)計(jì)算，硬件成本高，普及率低。

隨著人工智能技術(shù)的發(fā)展，產(chǎn)生了二維虛擬試衣技術(shù)。這些技術(shù)主要通過輸入用戶提供的個(gè)人照片，以及想要查看效果的服裝模型圖，運(yùn)行神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，生成人穿著該服裝的效果圖，但受限與人工智能相關(guān)技術(shù)的發(fā)展，生成的圖片容易產(chǎn)生紋理丟失、身體部位丟失等問題，影響最終的生成質(zhì)量。

現(xiàn)有的技術(shù)之一為一種基于人工智能為虛擬試衣者提供三維效果的穿搭系統(tǒng)及方法，基于人工智能為虛擬試衣者提供三維效果的穿搭系統(tǒng)，包括用戶管理模塊，3D建模模塊，人工智能模塊，數(shù)據(jù)庫(kù)，專家系統(tǒng)模塊等，利用人工智能技術(shù)解決了線上試衣的問題。該發(fā)明缺點(diǎn)是基于3D技術(shù)，現(xiàn)實(shí)中3D技術(shù)成本高，普及率較低，不適合大規(guī)模線上試衣的推廣。

現(xiàn)有的技術(shù)之二為一種基于移動(dòng)終端的實(shí)時(shí)三維虛擬試衣方法，其步驟為：服裝三維模型的建立；人體三維模型的建立；三維人體模型著裝過程和實(shí)時(shí)的三維立體展示。該發(fā)明缺點(diǎn)是3D建模技術(shù)難度高，硬件基礎(chǔ)成本高，需要三維掃描技術(shù)，適用性較低，程序較為復(fù)雜。

現(xiàn)有的技術(shù)之三為一種由粗到細(xì)的二維虛擬試衣技術(shù)，對(duì)輸入的人的照片進(jìn)行處理，得到姿態(tài)圖、人體身份圖和人體外形，將這些信息和需要更換的目標(biāo)服裝圖輸入到神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練得到服裝掩碼，并進(jìn)行薄板樣條變換，將變換之后的結(jié)果再次輸入到神經(jīng)網(wǎng)絡(luò)中訓(xùn)練得到最終的試衣效果圖。該發(fā)明缺點(diǎn)是通過神經(jīng)網(wǎng)絡(luò)結(jié)合薄板樣條變換的方法，容易造成服裝紋理的丟失和服裝外形的錯(cuò)位。

發(fā)明內(nèi)容

本發(fā)明的目的是克服現(xiàn)有方法的不足，提出了一種基于神經(jīng)網(wǎng)絡(luò)的二維虛擬試衣方法。本發(fā)明解決的主要問題是，如何采用基于人工智能的方式，對(duì)二維圖片進(jìn)行處理，不使用三維數(shù)據(jù)或者三維處理方法，對(duì)圖片中的人物進(jìn)行換裝；如何使用神經(jīng)網(wǎng)絡(luò)技術(shù)和相應(yīng)的編碼解碼結(jié)構(gòu)，使目標(biāo)商品原始信息保留較為完整，使合成的結(jié)果更為符合人的預(yù)期。

為了解決上述問題，本發(fā)明提出了一種基于神經(jīng)網(wǎng)絡(luò)的二維虛擬試衣方法，所述方法包括：

步驟一，從服裝數(shù)據(jù)集篩選并輸入原始人物圖和目標(biāo)服裝圖，并處理成統(tǒng)一尺寸；

步驟二，對(duì)所述處理成統(tǒng)一尺寸的原始人物圖進(jìn)行進(jìn)一步處理生成人體外形圖、人體關(guān)節(jié)點(diǎn)圖和人體解析圖作為人體部分特征；

步驟三，使用所述人體部分特征和步驟一得到的統(tǒng)一尺寸的目標(biāo)服裝圖，使用卷積神經(jīng)網(wǎng)絡(luò)D中的編碼解碼結(jié)構(gòu)輸出目標(biāo)人體解析圖；