[發明專利]基于雙重對抗的生成式對抗網絡的圖像局部風格遷移方法

有效

• 申請號: 201811337511.7
• 申請日: 2018-11-12
• 公開（公告）號: CN109544442B
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 吳晨;李雷;楊真真
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06N3/0475;G06N3/094
• 代理公司: 南京蘇科專利代理有限責任公司 32102
• 代理人: 姚姣陽

1.一種基于雙重對抗的生成式對抗網絡的圖像局部風格遷移方法，其特征在于，包括如下步驟：

S1、采集兩類圖像，所述兩類圖像包括真實第一類圖像與真實第二類圖像；

S2、對所采集的兩類圖像進行預處理；

S3、構建帶有自注意力機制的雙重對抗網絡，將經過預處理的兩類圖像分別輸入雙重對抗網絡的最小化的損失函數中，對雙重對抗網絡進行訓練；

所述雙重對抗網絡包括生成器、判別器及抑制器，所述生成器、判別器與所述生成器、抑制器同時進行對抗訓練，所述生成器包括第一生成器及第二生成器，所述判別器包括第一判別器及第二判別器；

所述對雙重對抗網絡進行訓練，具體包括如下步驟：

S31、將所述真實第一類圖像輸入第一判別器中進行判別，同時將所述真實第一類圖像輸入第一生成器中、得到生成第二類圖片，隨后將生成第二類圖片通過抑制器送入第二判別器中進行判別，同時將經過所述抑制器優化后的生成第二類圖片通過第二生成器得到生成第一類圖片；

S32、將所述真實第二類圖像輸入第二判別器中進行判別，同時將所述真實第二類圖像輸入第二生成器中、得到生成第一類圖片，隨后將生成第一類圖片通過抑制器送入第一判別器中進行判別，同時將經過所述抑制器優化后的生成第一類圖片通過第一生成器得到生成第二類圖片；

S33、對所述第一生成器和第二生成器、所述第一判別器和第二判別器進行調整，以使得損失函數最小化；

所述損失函數的表達式為：

L(G,F,D_x,D_y)＝L_GAN(G,S,D_y,x,y)+L_GAN(F,S,D_x,y,x)+λL_cyc(G,S,F)+βL_sup(G,S,F)，

其中，

上述各式中，G是第一生成器，F是第二生成器，S是抑制器，x是訓練樣本中的真實第一類圖像，y是訓練樣本中的真實第二類圖像，D_x是第一判別器，D_y是第二判別器，λ、β為可設定參數，L_GAN是判別器損失，L_cyc是循環損失，L_sup是轉換損失；

抑制器損失函數是期望圖像通過生成器和抑制器從一個類別轉向另一個類別之后原始圖片和生成的圖片的差異較小，即圖片轉換聚焦于局部特征；

S4、將經過訓練的雙重對抗網絡中的生成器作為兩類圖像局部風格遷移的工具，并應用于實測。

2.根據權利要求1所述的基于雙重對抗的生成式對抗網絡的圖像局部風格遷移方法，其特征在于：所述真實第一類圖像與真實第二類圖像二者無需一一配對，所述真實第一類圖像與真實第二類圖像二者間的風格不同、且二者間具有相似性。

3.根據權利要求1所述的基于雙重對抗的生成式對抗網絡的圖像局部風格遷移方法，其特征在于，S1所述采集兩類圖像，具體包括如下步驟：利用爬蟲技術，從圖片網站上爬取清晰的兩類圖像各兩千張。

4.根據權利要求2所述的基于雙重對抗的生成式對抗網絡的圖像局部風格遷移方法，其特征在于，S2中所述對所采集的兩類圖像進行預處理，具體包括如下步驟：對所述真實第一類圖像與真實第二類圖像進行篩選，去除兩類圖像中的模糊圖像，將所有圖像均設置為同一尺寸，隨后將兩類圖像各自保存為訓練樣本。

5.根據權利要求1所述的基于雙重對抗的生成式對抗網絡的圖像局部風格遷移方法，其特征在于：在所述生成器和判別器的網絡結構中均包括自注意力機制模塊。