[發(fā)明專利]一種基于生成式對抗網(wǎng)絡(luò)的圖像風(fēng)格遷移方法

在審

• 申請?zhí)枺?/td>: 201711155557.2
• 申請日: 2017-11-20
• 公開（公告）號: CN108038821A
• 公開（公告）日: 2018-05-15
• 發(fā)明（設(shè)計）人: 孫靖文;王敏;楊柳
• 申請（專利權(quán)）人: 河海大學(xué)
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/10;G06T7/90;G06N3/04
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 姜慧勤

本發(fā)明公開了一種基于生成式對抗網(wǎng)絡(luò)的圖像風(fēng)格遷移方法，把缺少顏色或輕微殘缺的圖片的風(fēng)格遷移成色彩和形狀都較為完整的圖像，包括以下步驟：a)收集要風(fēng)格轉(zhuǎn)換的兩類圖片；b)圖像預(yù)處理，如果圖片像素過大，就分割成較小的部分；c)基于深度卷積網(wǎng)絡(luò)構(gòu)造生成式對抗網(wǎng)絡(luò)；d)對生成式判別網(wǎng)絡(luò)進行訓(xùn)練；e)生成風(fēng)格遷移的圖像；f)如果預(yù)處理把圖片分割成較小的部分，還需要將它們拼接起來。本發(fā)明的圖像風(fēng)格遷移方法，能夠非人工地生成圖片的顏色特征，把繪圖不完整的部分自動補全，可以省去人工設(shè)計的繁瑣步驟。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于生成式對抗網(wǎng)絡(luò)的圖像風(fēng)格遷移方法，屬于計算機視覺和模式識別技術(shù)領(lǐng)域。

背景技術(shù)

在設(shè)計某種產(chǎn)品的時候，需要設(shè)計師手動地繪制完整的圖像，并且嘗試填充不同的顏色，需要耗費極大的精力進行各種嘗試，得到比較好的設(shè)計方案。但是如果運用深度學(xué)習(xí)，就可以只繪制出該物體，就能夠自動的給物體設(shè)計填充的顏色，并且對于繪制不完整或者不合理的部分進行自動修復(fù)，可以在極大的提高設(shè)計方面的效率。

因此，需要一種圖像風(fēng)格遷移方法，給顏色不完整或形狀不完整圖片上色或自動構(gòu)造其殘缺的形態(tài)部分，給設(shè)計工作者減輕構(gòu)想、設(shè)計方面極大的工作量。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是：提供一種基于生成式對抗網(wǎng)絡(luò)的圖像風(fēng)格遷移方法，把缺少顏色或輕微殘缺的圖片的風(fēng)格遷移成色彩和形狀都較為完整的圖像，減輕工作量。

本發(fā)明為解決上述技術(shù)問題采用以下技術(shù)方案：

一種基于生成式對抗網(wǎng)絡(luò)的圖像風(fēng)格遷移方法，包括如下步驟：

步驟1，獲取要風(fēng)格遷移的兩類圖像：第一類為需要遷移的圖像，第二類為參考圖像；

步驟2，對步驟1的兩類圖像進行歸一化或分割預(yù)處理，將其處理為256*256像素的圖像；

步驟3，采用自編碼器構(gòu)造生成式網(wǎng)絡(luò)，并采用多層卷積構(gòu)造對抗網(wǎng)絡(luò)，連接生成式網(wǎng)絡(luò)和對抗網(wǎng)絡(luò)，得到生成式對抗網(wǎng)絡(luò)；其中，設(shè)置生成式網(wǎng)絡(luò)的前4層為卷積網(wǎng)絡(luò)層，卷積網(wǎng)絡(luò)層每一層的卷積核為4*4，每一層均使用lrelu激活函數(shù)，步長為2；設(shè)置生成式網(wǎng)絡(luò)的后4層為反卷積網(wǎng)絡(luò)層，反卷積網(wǎng)絡(luò)層每一層的反卷積核為4*4，步長為2，反卷積網(wǎng)絡(luò)層的前三層均使用lrelu激活函數(shù)，反卷積網(wǎng)絡(luò)層的第四層無激活函數(shù)，反卷積網(wǎng)絡(luò)層最后一層的輸出即為生成式網(wǎng)絡(luò)的輸出，生成式網(wǎng)絡(luò)的輸出作為對抗網(wǎng)絡(luò)的其中一個輸入；設(shè)置對抗網(wǎng)絡(luò)中的對抗網(wǎng)絡(luò)層為5層，對抗網(wǎng)絡(luò)層每一層的卷積核為4*4，對抗網(wǎng)絡(luò)層的前四層均使用lrelu激活函數(shù)，步長為2，對抗網(wǎng)絡(luò)層的第五層無激活函數(shù)，步長為4；

步驟4，采用步驟2預(yù)處理后的兩類圖像對生成式對抗網(wǎng)絡(luò)進行訓(xùn)練；

步驟5，根據(jù)步驟4訓(xùn)練好的生成式對抗網(wǎng)絡(luò)對需要遷移的圖像進行遷移，得到遷移后的圖像。

作為本發(fā)明的一種優(yōu)選方案，該圖像風(fēng)格遷移方法還包括步驟6，若遷移后的圖像為分割后的圖像，則需要將分割后的圖像進行拼接，得到最終遷移后的圖像。

作為本發(fā)明的一種優(yōu)選方案，所述步驟4的具體過程如下：采用兩個生成式對抗網(wǎng)絡(luò)產(chǎn)生的損失函數(shù)進行訓(xùn)練；

(1)將預(yù)處理后的參考圖像XA，經(jīng)過生成式網(wǎng)絡(luò)GAB變成另一種風(fēng)格的圖像XAB，通過對抗網(wǎng)絡(luò)DB來衡量生成式網(wǎng)絡(luò)GAB的效果，計算生成XAB的損失函數(shù)，公式如下：