[發明專利]一種基于優化AnimeGAN的圖像風格遷移

在審

• 申請號: 202011551122.1
• 申請日: 2020-12-24
• 公開（公告）號: CN112561791A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 林光涵;于威威
• 申請（專利權）人: 上海海事大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06N3/04;G06N3/08
• 代理公司: 上海元好知識產權代理有限公司 31323
• 代理人: 包姝晴;張靜潔

本發明公開了一種基于優化AnimeGAN的圖像風格遷移，具體包含以下過程：建立風格遷移的訓練集，包含原風格圖像集和目標風格圖像集；構建生成網絡：所述生成網絡為編碼器?解碼器結構，包含標準卷積塊、下采樣卷積塊、倒置殘差塊、上采樣卷積塊和深度可分離卷積；構建判別網絡：所述判別網絡中的卷積層為標準卷積；進行生成網絡與判別網絡的對抗訓練，得到訓練成熟的生成網絡；采用訓練成熟的生成網絡對圖像進行目標風格遷移，生成目標風格遷移圖像。本發明基于優化后的AnimeGAN進行圖像風格遷移，著降低了圖像訓練時間；將優化后的AnimeGAN應用于非成對圖像之間的風格遷移，使得生成的圖像具有明顯的目標風格紋理、內容遷移的效果更好，且圖像邊緣清晰。

技術領域

本發明屬于圖像處理技術領域，具體涉及一種基于優化AnimeGAN的圖像風格遷移。

背景技術

圖像處理是一種具有巨大的社會和經濟效益的實用技術，被廣泛應用于各行各業以及人們的日常生活中。圖像處理中常見的一個技術就是圖像的風格遷移，圖像風格遷移的目的是對圖像的紋理、色彩、內容等進行定向的改變，使得圖像從一種風格變化為另一種風格，例如，將照片進行風格遷移，得到宮崎駿動漫風格的圖像，將光線較昏暗的條件下拍攝得到的風景照片進行風格遷移，得到光線較為明亮條件下的圖像等。

現有的風格遷移技術通常存在著一些問題，比如生成的圖像沒有明顯的目標風格紋理、生成的圖像丟失了原有圖像的邊緣和內容、網絡參數的存儲容量要求太大等。生成對抗網絡(Generative Adversarial Networks，GAN)被認為能夠有效解決上述問題。

生成對抗網絡是由Ian J.Goodfellow等人在2014年提出的，是一種非監督式的學習方法，通過兩個神經網絡相互博弈的方式進行學習。生成對抗網絡由一個生成網絡和一個判別網絡組成的，其中生成網絡從潛在空間中隨機取樣作為輸入，輸出的結果需要盡量模仿訓練集中的樣本，判別網絡的輸入為真實樣本或者生成網絡的輸出，其目的是將生成網絡的輸出從真實樣本中盡可能分辨出來，而生成網絡則盡可能欺騙判別網絡。兩個網絡通過互相對抗、不斷調整參數，最終的目的是使判別網絡無法判斷生成網絡的輸出結果是否真實。

AnimeGAN(圖像卡通風格遷移算法)是生成對抗網絡的一個變體，AnimeGAN使用未配對的訓練數據進行端到端訓練，實現圖片的風格遷移。

發明內容

為了解決風格遷移時生成的圖像目標風格紋理不明顯、內容遷移效果不佳、圖像邊緣不清晰等問題，本發明提出了一種基于優化AnimeGAN的圖像風格遷移，將優化后的AnimeGAN(圖像卡通風格遷移算法)應用于非成對圖像之間的風格遷移。

本發明提出的一種基于優化AnimeGAN的圖像風格遷移，包含以下步驟：

S1、建立風格遷移的訓練集，包含原風格圖像集和目標風格圖像集；

S2、構建生成網絡G：所述生成網絡G為編碼器-解碼器結構，包含標準卷積塊、下采樣卷積塊、倒置殘差塊、上采樣卷積塊和深度可分離卷積；

S3、構建判別網絡D：所述判別網絡D中的卷積層為標準卷積；

S4、進行生成網絡G與判別網絡D的對抗訓練，得到訓練成熟的生成網絡G；

S5、采用訓練成熟的生成網絡G對圖像進行目標風格遷移，生成目標風格遷移圖像。

優選地，原風格圖像集包含若干第一類圖像，第一類圖像為原風格圖像，用來進行目標風格遷移；

對第一類圖像進行轉化，生成第一類圖像的YUV格式三通道圖像。

優選地，目標風格圖像集包含若干第二類圖像和若干第三類圖像，第二類圖像為第一類圖像對應的目標風格圖像，第三類圖像為第二類圖像平滑處理后的圖像；