[發(fā)明專利]一種服裝圖像自動(dòng)生成系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011581996.1
• 申請(qǐng)日: 2020-12-28
• 公開(kāi)（公告）號(hào): CN112699261A
• 公開(kāi)（公告）日: 2021-04-23
• 發(fā)明（設(shè)計(jì)）人: 王偉珍;楊詒然
• 申請(qǐng)（專利權(quán)）人: 大連工業(yè)大學(xué)
• 主分類號(hào): G06F16/532
• 分類號(hào): G06F16/532;G06F16/583;G06N3/04;G06K9/62
• 代理公司: 大連東方專利代理有限責(zé)任公司 21212
• 代理人: 姜玉蓉;李洪福

1.一種服裝圖像自動(dòng)生成系統(tǒng)，其特征在于，包括：

服裝圖像檢索模塊，將搜集的服裝圖像進(jìn)行屬性標(biāo)注的圖像屬性自動(dòng)標(biāo)注模塊，以及服裝圖像自動(dòng)生成模塊；

所述服裝圖像檢索模塊包括：以文搜圖、以圖搜圖，其中所述以圖搜圖的所述圖像為使用者拍攝的服裝圖像和/或直接輸入待查詢的圖像；所述圖像屬性自動(dòng)標(biāo)注模塊通過(guò)構(gòu)建相關(guān)的圖像標(biāo)注庫(kù)，在所述圖像標(biāo)注庫(kù)的構(gòu)建基礎(chǔ)上訓(xùn)練標(biāo)注模型，自動(dòng)識(shí)別圖像預(yù)定義的屬性，完成對(duì)未標(biāo)注圖像的自動(dòng)屬性標(biāo)注；

所述圖像自動(dòng)生成模塊，根據(jù)預(yù)設(shè)的屬性標(biāo)簽信息通過(guò)生成式對(duì)抗網(wǎng)絡(luò)產(chǎn)生符合屬性條件的服裝圖像；

所述服裝圖像檢索模塊通過(guò)網(wǎng)絡(luò)平臺(tái)上的圖像或者拍照，通過(guò)原始圖像和屬性標(biāo)簽構(gòu)建服裝圖像數(shù)據(jù)集，建立基于深度學(xué)習(xí)技術(shù)的服裝圖像檢索系統(tǒng)；

所述服裝圖像檢索系統(tǒng)通過(guò)深度模型提取圖像的顏色、紋理、風(fēng)格特征，通過(guò)計(jì)算特征間的距離返回服裝圖像數(shù)據(jù)庫(kù)中同查詢圖像標(biāo)簽相同的樣本；假設(shè)兩張圖像的哈希編碼為b₁和b₂，則它們的漢明距離定義如下：

其中為邏輯異或運(yùn)算，||*||₁為L(zhǎng)1范數(shù)，即向量中非零元素的個(gè)數(shù)。

2.根據(jù)權(quán)利要求1所述的一種服裝圖像自動(dòng)生成系統(tǒng)，其特征在于，

所述圖像屬性自動(dòng)標(biāo)注模塊對(duì)欲查詢的服裝圖像屬性信息進(jìn)行分類標(biāo)注；

所述圖像屬性自動(dòng)標(biāo)注模塊通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)從數(shù)據(jù)集中自動(dòng)學(xué)習(xí)服裝屬性分類器，實(shí)現(xiàn)服裝圖像屬性標(biāo)簽的標(biāo)注；假設(shè)需要標(biāo)注的圖像為I，深度模型經(jīng)過(guò)多層映射會(huì)預(yù)測(cè)圖像各屬性標(biāo)簽的概率，即：

p(l_j|I)＝f_M(f_M-1(f_M-2(…f₁(I))))；

其中f_m表示深度網(wǎng)絡(luò)的第m層映射函數(shù)，p(l_j|I)表示圖像I被預(yù)測(cè)為第j個(gè)屬性的概率，如果該值小于0.5，則圖像I不會(huì)被標(biāo)注為l_j屬性。

3.根據(jù)權(quán)利要求1所述的一種服裝圖像自動(dòng)生成系統(tǒng)，其特征在于，

所述圖像自動(dòng)生成模塊通過(guò)依據(jù)輸入的屬性信息和服裝圖像信息生成新的服裝圖像；所述新的服裝圖像將具有原始服裝圖像的標(biāo)簽屬性同時(shí)符合輸出的屬性需求；

所述圖像自動(dòng)生成模塊工作包括以下步驟：

S1：根據(jù)圖像數(shù)據(jù)和其屬性標(biāo)簽優(yōu)化下述目標(biāo)函數(shù)，學(xué)習(xí)判別器D和生成器G：

其中，p_data(x)表示圖像的分布，y表示圖像的屬性標(biāo)簽向量，z服從標(biāo)準(zhǔn)高斯分布p_z(z)，D通過(guò)最大化真實(shí)圖像標(biāo)簽對(duì)(x，y)的對(duì)數(shù)似然函數(shù)logD(x|y)和根據(jù)標(biāo)簽y生成的圖像的對(duì)數(shù)似然函數(shù)1-logD(G(z|y))進(jìn)行學(xué)習(xí)，G為通過(guò)最大化對(duì)數(shù)似然函數(shù)logD(G(z|y)學(xué)習(xí)根據(jù)屬性標(biāo)簽向量y產(chǎn)生符合屬性需求的真實(shí)圖像；

S2：根據(jù)用戶提供的屬性標(biāo)簽和經(jīng)過(guò)訓(xùn)練的生成器G生成符合該屬性的真實(shí)圖像

z～P_z(z)；

其中，z表示從P_z(z)分布中采樣的噪聲數(shù)據(jù)。

4.根據(jù)權(quán)利要求1所述的一種服裝圖像自動(dòng)生成系統(tǒng)，其特征在于，

所述服裝圖像自動(dòng)生成系統(tǒng)還具有：服裝圖像儲(chǔ)存檢索模塊、服裝圖像屬性自動(dòng)標(biāo)注模塊以及服裝圖像生成新圖像模塊；

所述服裝圖像儲(chǔ)存檢索模塊，將搜集的服裝圖像存儲(chǔ)起來(lái)，整理成服裝圖像數(shù)據(jù)集并構(gòu)建檢索系統(tǒng)；

服裝圖像屬性自動(dòng)標(biāo)注模塊，根據(jù)數(shù)據(jù)集里的服裝圖像進(jìn)行屬性標(biāo)注，利用一種基于深度學(xué)習(xí)的圖像分類方法，完成數(shù)據(jù)集圖像的自動(dòng)標(biāo)注；

服裝圖像生成新圖像模塊，基于所得服裝圖像屬性標(biāo)簽的信息，利用條件生成式對(duì)抗網(wǎng)絡(luò)自動(dòng)生成新圖像。

5.應(yīng)用權(quán)利要求1-4所述的系統(tǒng)的一種服裝圖像自動(dòng)生成的方法，包括如下步驟：

步驟一：建立服裝圖像數(shù)據(jù)集；通過(guò)使用者輸入的文本信息，關(guān)鍵字以及圖像內(nèi)容進(jìn)行檢索或者采用直接拍照的方式獲取圖像；

步驟二：獲取圖像后，根據(jù)預(yù)設(shè)的服裝圖像屬性對(duì)所獲的圖像進(jìn)行人工標(biāo)注；

步驟三：通過(guò)所述具有屬性標(biāo)注信息的服裝圖像集，訓(xùn)練基于深度卷積神經(jīng)網(wǎng)絡(luò)模型的服裝圖像屬性分類器；

步驟四：通過(guò)服裝圖像屬性分類器對(duì)未標(biāo)注圖像進(jìn)行自動(dòng)標(biāo)注服裝圖像屬性；

步驟五：通過(guò)具有屬性標(biāo)注信息的服裝圖像集訓(xùn)練條件生成式對(duì)抗網(wǎng)絡(luò)；

步驟六：通過(guò)訓(xùn)練完成的生成模型并產(chǎn)生新圖像。