[發明專利]一種基于解糾纏網絡的服裝圖像生成系統和方法

在審

• 申請號: 202110304774.3
• 申請日: 2021-03-22
• 公開（公告）號: CN113052230A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 張建明;宋陽;王志堅
• 申請（專利權）人: 浙江大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06Q30/06
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 孫孟輝

1.一種基于解糾纏神經網絡的服裝圖像生成方法，其特征在于，包括以下步驟：

S101、獲取多張帶有類別標簽的服裝圖像；

S102、獲取服裝圖像的顏色標簽，并與服裝類別標簽進行級聯；

S103、訓練解糾纏神經網絡，初始化所述解糾纏神經網絡的解糾纏生成器參數和判別器網絡參數；

S104、將所述級聯后的標簽輸入所述解糾纏神經網絡，判別真實圖像和解糾纏生成器生成的服裝圖像；

S105、根據判定值和輸出服裝圖像，對解糾纏網絡參數進行調整優化。

2.如權利要求1所述的一種基于解糾纏神經網絡的服裝圖像生成方法，其特征在于，所述服裝圖像的類別標簽和顏色標簽均采用獨熱編碼的方法獲得，其中，服裝圖像顏色的分類采用OpenCV工具將服裝圖像的RGB模型轉化為HSV模型。

3.如權利要求1所述的一種基于解糾纏神經網絡的服裝圖像生成方法，其特征在于，所述步驟S103具體包括：

S103_1，訓練解糾纏神經網絡，所述解糾纏神經網絡為條件式對抗網絡，包括解糾纏生成器G和多級判別器D，解糾纏生成器提取出服裝圖像的樣式特征后生成圖片，多級判別器對真實圖片與生成圖片進行判別，解糾纏神經網絡的輸入是服裝圖像的類別標簽l_class、顏色標簽l_color和隨機噪聲變量z，解糾纏生成器輸出G(z，(l_class，l_color))，多級判別器輸出log(G(z，(l_class，l_color)))和log(I_real)，分別對應多級判別器對生成圖片和真實圖片的判別結果，I_real是真實服裝圖像和其標簽的級聯；

訓練時的總體目標函數為：即總的GAN損失函數為：

其中的，分別是服從真實分布和解糾纏生成器生成分布的判別結果期望，分別是判別器最小化解糾纏生成器生成分布判別期望和最大化真實分布判別期望的訓練過程，l_true、x_true、l分別表示真實服裝圖像的標簽、真實服裝圖像、生成服裝圖像的標簽；

S103_2，對解糾纏生成器和多級判別器的所有網絡層都進行譜歸一化，所有網絡層的權重初始化都服從高斯分布，均值為0，方差為1。

4.如權利要求3所述的一種基于解糾纏神經網絡的服裝圖像生成方法，其特征在于，所述多級判別器由局部判別器和全局判別器組成，局部判別器和全局判別器分別在兩個不同的尺度上對真實圖片和生成圖片進行下采樣區分，最終采樣的結果進行組合，得到多級判別器的判別結果。

5.如權利要求3所述的一種基于解糾纏神經網絡的服裝圖像生成方法，其特征在于，所述多級判別器的生成圖像中間特征輸出與真實圖像中間特征輸出相匹配，特征匹配損失函數為：

其中T并表示總的網絡層數，N_i表示每一層網絡中的元素數量，D_k代表子判別器，作為特征提取器，僅僅在訓練解糾纏生成器時進行最小化特征匹配損失

6.如權利要求3所述的一種基于解糾纏神經網絡的服裝圖像生成方法，其特征在于，所述解糾纏生成器由映射網絡ω和漸進式生成網絡G_progress組成，所述映射網絡ω由全連接網絡層組成，輸入隨機噪聲和標簽編碼至中間潛空間，輸出中間潛碼ψ＝(ψ_style，ψ_bias)控制自適應實例歸一化層的參數，歸一化函數為：其中每一個特征圖x_i分別進行歸一化操作，所述特征圖被中間潛碼ψ縮放ψ_style倍并加上偏置量ψ_bias；漸進式生成網絡G_progress是帶有自適應實例歸一化層的卷積模塊，所述卷積模塊采用線性插值法進行上采樣，放大倍數為2，輸入是中間潛碼和隨機高斯噪聲，所添加的噪聲服從高斯分布，其均值為0，方差為1，最后通過一個卷積核為1的卷積層將輸出轉換為RGB圖像。