[發明專利]一種屬性生成對抗網絡及基于該網絡的搭配服飾生成方法

有效

• 申請號: 201811074522.0
• 申請日: 2018-09-14
• 公開（公告）號: CN110909754B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 張海軍;劉琳琳;孫妍芳
• 申請（專利權）人: 哈爾濱工業大學（深圳）
• 主分類號: G06N3/0475
• 分類號: G06N3/0475;G06N3/045;G06N3/0464;G06N3/094;G06T11/00;G06V10/764;G06V10/82;G06V10/74
• 代理公司: 深圳市迪斯卓越專利代理事務所(普通合伙) 44443
• 代理人: 閔華明;李小艷

一種屬性生成對抗網絡及基于該網絡的搭配服飾生成方法，屬于生成式模型以及服飾搭配領域。針對根據已有服飾圖像生成相搭配的服飾圖像的問題，先構建搭配服飾數據集，包含一套搭配服飾的圖像信息、文本信息以及相應的屬性信息；再設計屬性生成對抗網絡，包含一個生成器、一個搭配判別器和一個屬性判別器；然后對其進行對抗訓練，學習得到生成器網絡參數；最后對于新的服飾圖像輸入到訓練好的生成器中，從而生成相搭配的服飾圖像。本發明通過訓練設計的屬性生成對抗網絡，生成和輸入圖像相搭配的服飾圖像，為用戶的穿衣搭配提供參考依據；在高級語義屬性上符合人們通常的搭配規則，對衣服推薦、衣服檢索、時尚設計等應用有巨大的潛力。

本發明屬于生成式模型以及服飾搭配領域，尤其涉及一種屬性生成對抗網絡及基于該網絡的搭配服飾生成方法，所述方法使用服飾搭配對和相應屬性信息作為最原始輸入。

背景技術

時尚因素因其展現自我個性和塑造文化的能力，在現今社會中扮演的角色日益重要。最近，網上購物對時尚產品的需求不斷上升，能夠有效地推薦時尚物品的方法有兩種，一種是推薦一件商品與現有的單品組合相搭配；另一種是通過用戶給出的文字描述或者場景圖片產生一套符合要求的時尚單品集合。想要實現這種功能仍然存在許多挑戰，困難在于對于不同種類的時尚物品之間的相容關系建模，這不同于通常的計算圖像的相似度。目前時尚學習領域的研究內容只要集中在衣服分割、衣服識別、時尚推薦或衣服檢索等。但是這些工作沒有深究一整套時尚搭配之所以搭配的原因在哪，或者通過對搭配的建模，生成虛擬的相搭配的單品，從而對人們的穿衣搭配給予指導。這些研究問題可以從圖像和文本兩個領域來考慮，圖像上一套搭配中的單品要有視覺上的相容性和風格上的共享性；文本上可以通過給予一件單品的描述信息、屬性或者適合場景等，給予一系列搭配上的指導。

GAN是“生成對抗網絡”(Generative?Adversarial?Networks)的簡稱，由2014年還在蒙特利爾讀博士的Ian?Goodfellow引入深度學習領域。2016年，GAN熱潮席卷AI領域頂級會議，從ICLR到NIPS，大量高質量論文被發表和探討。GAN是一個非常靈活的設計框架，各種類型的損失函數都可以整合到GAN模型當中，這樣使得針對不同的任務，我們可以設計不同類型的損失函數，都會在GAN的框架下進行學習和優化。作為一個生成模型，GAN最直接的應用，就是用于真實數據分布的建模和生成，包括可以生成一些圖像和視頻，以及生成一些自然語句和音樂等。其次，因為內部對抗訓練的機制，GAN可以解決一些傳統的機器學習中所面臨的數據不足的問題，因此可以應用在半監督學習、無監督學習、多視角、多任務學習的任務中。此外，GAN可以和CNN、RNN結合在一起。任何一個可微分的函數，都可以用來參數化GAN的生成模型和判別模型。那么，在實際中，我們就可以使用深度卷積網絡，來參數化生成模型。綜上所述深度卷積神經網絡和GAN，無論是單獨研究還是結合起來解決問題，都是有著較理想的研究前景。

發明內容

本發明依托現有的條件生成對抗網絡模型，提出屬性生成對抗網絡模型，基于服飾屬性生成與之相搭配的服飾，在模型中生成器學習合成與輸入圖像相搭配的服飾，判別器分別判斷合成的圖像是否與輸入圖像相搭配，以及在屬性上是否逼近條件圖像。基于此思路，本發明提出了一種屬性生成對抗網絡及基于該網絡的服飾搭配方法。

所述屬性生成對抗網絡包括一個生成器和兩個判別器，所述生成器生成合成圖像、完成輸入服飾圖像到相應搭配服飾圖像的轉換，兩個判別器分別為搭配判別器和屬性判別器，所述搭配判別器判斷生成的合成搭配圖像對搭配與否，所述屬性判別器判斷生成的合成圖像是否具有相應的服飾屬性；所述屬性生成對抗網絡混合條件生成對抗網絡的目標函數和傳統損失，保持判別器的任務不變，生成器不僅要蒙蔽判別器，且生成的合成圖像要在相似度距離上逼近真實圖像；作為優選，所述相似度距離為L1距離。

進一步地，所述生成器采用“U-Net”結構；所述搭配判別器采用“Patch-GAN”；所述屬性判別器包含四個卷積層和M個全連接層，M為屬性個數，卷積層卷積核大小為4×4，使用M個交叉熵(Cross?Entropy)損失函數的求和平均作為屬性判別器的目標函數。