[發(fā)明專利]一種基于循環(huán)生成對抗網(wǎng)絡的圖像水墨風格遷移方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202310097882.7
• 申請日: 2023-02-10
• 公開（公告）號: CN116310712A
• 公開（公告）日: 2023-06-23
• 發(fā)明（設計）人: 周寧寧;楊潔;周祺
• 申請（專利權(quán)）人: 南京郵電大學
• 主分類號: G06V10/82
• 分類號: G06V10/82;G06N3/044;G06N3/0475;G06N3/094;G06N3/096;G06N3/048
• 代理公司: 南京縱橫知識產(chǎn)權(quán)代理有限公司 32224
• 代理人: 劉艷艷

本發(fā)明公開了一種基于循環(huán)生成對抗網(wǎng)絡的圖像水墨風格遷移方法及系統(tǒng)，包括：獲取包含水墨風格圖像、現(xiàn)實拍照圖像的數(shù)據(jù)集；利用所述數(shù)據(jù)集對基于循環(huán)生成對抗網(wǎng)絡的圖像水墨風格遷移模型進行訓練，得到訓練好的圖像水墨風格遷移模型；其中所述基于循環(huán)生成對抗網(wǎng)絡的圖像水墨風格遷移模型包括兩個生成器和兩個判別器；將待遷移的現(xiàn)實圖像輸入到訓練好的圖像水墨風格遷移模型中，得到相對應的水墨風格遷移圖像。對循環(huán)生成對抗網(wǎng)絡中的兩個生成網(wǎng)絡進行了改進，在兩個生成器中分別加入自適應歸一化結(jié)構(gòu)和置換注意力機制。本發(fā)明能夠快速有效可靠的合成真實感更強的水墨風格圖像，提高合成圖像的真實感和視覺質(zhì)量，擴大應用范圍與應用場景。

技術領域

本發(fā)明屬于計算機視覺領域，具體涉及一種基于循環(huán)生成對抗網(wǎng)絡的圖像水墨風格遷移方法及系統(tǒng)。

背景技術

圖像風格遷移是深度學習領域內(nèi)一中新興的技術。由于圖像風格概念非常抽象，計算機對圖像的處理過程中僅是一些像素點，不能像人類一樣對不同風格進行分辨，所以人們期望通過對圖像進行風格特征的提取來解決這一問題。

隨著深度學習的發(fā)展，現(xiàn)已可以使用深度神經(jīng)網(wǎng)絡來學習圖像里面的抽象風格特征。相較于油畫、動畫、西方藝術風格畫作仿真技術，水墨畫的仿真研究要滯后西方藝術研究很多。

發(fā)明內(nèi)容

生成對抗網(wǎng)絡是生成模型的一種神經(jīng)網(wǎng)絡架構(gòu)，近幾年廣泛應用于圖像生成領域，如生成圖像數(shù)據(jù)集、生成人臉圖片、風格遷移等，生成對抗網(wǎng)絡是神經(jīng)網(wǎng)絡發(fā)展的產(chǎn)物，也是近幾年深度學習中較為活躍的領域，它實際上是利用了博弈的思想優(yōu)化生成器，再在完成訓練后復用生成器生成數(shù)據(jù)。

本發(fā)明的目的在于提供一種基于循環(huán)生成對抗網(wǎng)絡的圖像水墨風格遷移方法及系統(tǒng)，使生成的中國風水墨風格圖像具有一定的通用性和易用性。

為達到上述目的，本發(fā)明所采用的技術方案是：

第一方面，提供了一種基于循環(huán)生成對抗網(wǎng)絡的圖像水墨風格遷移方法，包括：

獲取包含水墨風格圖像、現(xiàn)實拍照圖像的數(shù)據(jù)集；

利用所述數(shù)據(jù)集對基于循環(huán)生成對抗網(wǎng)絡的圖像水墨風格遷移模型進行訓練，得到訓練好的圖像水墨風格遷移模型；其中所述基于循環(huán)生成對抗網(wǎng)絡的圖像水墨風格遷移模型包括兩個生成器和兩個判別器；

將待遷移的現(xiàn)實圖像輸入到訓練好的圖像水墨風格遷移模型中，得到相對應的水墨風格遷移圖像。

在一些實施例中，利用所述數(shù)據(jù)集對基于循環(huán)生成對抗網(wǎng)絡的圖像水墨風格遷移模型進行訓練，包括：

在第一生成器中加入自適應歸一化結(jié)構(gòu)AdaIN，固定第一生成器，根據(jù)數(shù)據(jù)集中的水墨風格圖像和第一生成器隨機生成的水墨圖像訓練第一判別器；

固定第一判別器，利用第一生成器-第一判別器串接網(wǎng)絡，訓練第一生成器，使其生成與輸入的水墨風格圖像相近的水墨圖像；

在第二生成器中加入置換注意力機制SA，固定循環(huán)生成對抗網(wǎng)絡中的第二生成器，根據(jù)數(shù)據(jù)集中的現(xiàn)實拍照圖像和第二生成器隨機生成的現(xiàn)實圖像訓練第二判別器；

固定第二判別器，利用第二生成器-第二判別器串接網(wǎng)絡，訓練第二生成器，使其生成與輸入的現(xiàn)實拍照圖像相近的現(xiàn)實圖像。

進一步地，在一些實施例中，在第一生成器中，對所有的輸入數(shù)據(jù)用自適應歸一化結(jié)構(gòu)AdaIN進行歸一化處理，歸一化處理過程包括：

其中，x和y分別表示兩種輸入的圖像風格，μ(x)表示原始風格圖的均值，σ(x)表示原始風格圖的方差，μ(y)表示水墨風格圖的均值，σ(y)表示水墨風格圖的方差，AdaIN(x,y)表示歸一化處理后的輸出結(jié)果。