[發明專利]基于雙重對抗的生成式對抗網絡的圖像局部風格遷移方法

有效

• 申請號: 201811337511.7
• 申請日: 2018-11-12
• 公開（公告）號: CN109544442B
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 吳晨;李雷;楊真真
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06N3/0475;G06N3/094
• 代理公司: 南京蘇科專利代理有限責任公司 32102
• 代理人: 姚姣陽

本發明揭示了一種基于雙重對抗的生成式對抗網絡的圖像局部風格遷移方法，包括如下步驟：S1、采集兩類圖像；S2、對所采集的兩類圖像進行預處理；S3、構建帶有自注意力機制的雙重對抗網絡，將經過預處理的兩類圖像分別輸入雙重對抗網絡的最小化的損失函數中，對雙重對抗網絡進行訓練；S4、將經過訓練的雙重對抗網絡中的生成器作為兩類圖像局部風格遷移的工具，并應用于實測。本發明的技術方案基于雙重對抗的自注意力生成式對抗網絡，能夠使得局部特征的圖到圖轉換更加聚焦于局部特征，方法使用效果優異。

技術領域

本發明涉及一種圖像局部風格的遷移方法，尤其涉及一種基于雙重對抗的生成式對抗網絡的圖像局部風格遷移方法，屬于計算機視覺中的圖像處理技術。

背景技術

近年來，隨著人工智能技術的高速發展，深度學習成為了時下熱門的研究領域。蒙特利爾大學的Ian?Goodfellow等學者曾在2014年提出了生成式對抗網絡的概念，這一概念的提出進一步加快了深度學習的研究進程。近年來，生成式對抗網絡已經逐漸成為深度學習中的研究熱點之一。

生成式對抗網絡是一種生成模型，它的結構受啟發于二人零和博弈。生成式對抗網絡包含了一個生成器和一個判別器。生成器能夠通過真實數據的潛在分布進行學習，隨后生成假的數據分布來擬合逼近真實數據。判別器是一個分類器，能夠判斷數據分布是否為真。通過兩個網絡的不斷競爭學習，生成器能夠生成越來越逼真的假的數據分布，最終達到以假亂真的效果。

循環生成式對抗網絡則是將生成式對抗網絡與圖到圖轉換的結合，循環生成式對抗網絡本質上是兩個鏡像對稱的生成式對抗網絡，構成了一個環形網絡。兩個生成式對抗網絡共享兩個生成器和兩個判別器，即共有兩個判別器和兩個生成器。循環生成式對抗網絡適合處理圖像風格遷移，但是應用于兩類圖像的局部特征遷移的過程中時，卻很容易出現圖像整體顏色的改變，即圖像之前的轉換不能較好的聚焦于操作者所期望的區域中、且圖像也有可能會出現的條紋狀噪聲。

綜上所述，如何在現有技術的基礎上提出一種圖像局部風格遷移方法，以解決現有技術中所存在的諸多問題，也就成為了業內技術人員新的研究方向。

發明內容

鑒于現有技術存在上述缺陷，本發明提出了一種基于雙重對抗的生成式對抗網絡的圖像局部風格遷移方法，包括如下步驟：

S1、采集兩類圖像；

S2、對所采集的兩類圖像進行預處理；

S3、構建帶有自注意力機制的雙重對抗網絡，將經過預處理的兩類圖像分別輸入雙重對抗網絡的最小化的損失函數中，對雙重對抗網絡進行訓練；

S4、將經過訓練的雙重對抗網絡中的生成器作為兩類圖像局部風格遷移的工具，并應用于實測。

優選地，S1中所述兩類圖像包括真實第一類圖像與真實第二類圖像，所述真實第一類圖像與真實第二類圖像二者無需一一配對，所述真實第一類圖像與真實第二類圖像二者間的風格不同、且二者間具有相似性。

優選地，S1所述采集兩類圖像，具體包括如下步驟：利用爬蟲技術，從圖片網站上爬取清晰的兩類圖像各兩千張。

優選地，S2中所述對所采集的兩類圖像進行預處理，具體包括如下步驟：對所述真實第一類圖像與真實第二類圖像進行篩選，去除兩類圖像中的模糊圖像，將所有圖像均設置為同一尺寸，隨后將兩類圖像各自保存為訓練樣本。

優選地，S3中所述雙重對抗網絡包括生成器、判別器及抑制器，所述生成器、判別器與所述生成器、抑制器同時進行對抗訓練，所述生成器包括第一生成器及第二生成器，所述判別器包括第一判別器及第二判別器。

優選地，在所述生成器和判別器的網絡結構中均包括自注意力機制模塊。

優選地，S3中所述對雙重對抗網絡進行訓練，具體包括如下步驟：