[發明專利]一種基于循環生成對抗網絡對書法進行風格遷移的方法

有效

• 申請號: 201910764034.0
• 申請日: 2019-08-19
• 公開（公告）號: CN110570346B
• 公開（公告）日: 2022-11-04
• 發明（設計）人: 劉晶;向朋霞
• 申請（專利權）人: 西安理工大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06N3/04;G06N3/08
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 王蕊轉

1.一種基于循環生成對抗網絡對書法進行風格遷移的方法，其特征在于，具體按照以下步驟實施：

步驟1、在word中制作要遷移的風格A和風格B兩種風格的兩種字體各n頁，輸出為圖片jpg格式，得到2n張圖片，作為訓練樣本；

步驟2、根據步驟1中的樣本，制作兩種風格數據集，依次更新生成器權重和判別器權重，得到生成器訓練生成的圖片和判別器判別真偽的結果；

所述步驟2具體按照以下步驟實施：

步驟2.1、將所述步驟1中有2n張圖片的訓練樣本中的每張圖片隨機裁出m張i×i大小的圖片，得到風格A和風格B的圖片各n×m張，圖片大小均為i×i，即為所需要的數據集，其中n為裁剪前圖片的張數，m為裁剪后圖片張數，i為裁剪出的圖片的邊長；

步驟2.2、設置循環生成對抗網絡，由兩個對稱的生成對抗網絡GAN構成一個環形網絡，兩個生成對抗網絡GAN共享兩個生成器，并各自帶一個判別器，即共有兩個生成器，記為生成器G和生成器F，和兩個判別器，記為判別器D_X和判別器D_Y，每個生成對抗網絡GAN有兩個損失函數，分別為生成器的重建損失和判別器的判別損失；

步驟2.3、生成器G負責把步驟2.1中裁剪后的風格A的圖片訓練成風格B的樣子，然后更新重建損失，得到生成圖片，判別器D_Y將步驟2.1中裁剪后的風格B的圖片和步驟2.3中生成器G生成圖片作為輸入，更新判別損失，嘗試預測其為原始圖片還是生成器的生成圖片；

步驟2.4、生成器F負責把步驟2.1中裁剪后的風格B的圖片訓練成風格A的樣子，然后更新重建損失，得到生成圖片，判別器D_X將步驟2.1中裁剪后的風格A的圖片和步驟2.4中生成器F生成圖片作為輸入，更新判別損失，嘗試預測其為原始圖片還是生成器的生成圖片；

步驟3、將步驟1中制作的訓練樣本輸入步驟2中的判別器和生成器中進行訓練更新，經過二者的博弈以后，生成器的偽造技術越來越厲害，判別器的鑒別技術也越來越厲害，直到判別器再也分不出數據是真實的數據還是生成器生成的數據，即對抗的過程達到動態的平衡，得到最后的訓練效果，輸出風格遷移后的圖片。

2.根據權利要求1所述的一種基于循環生成對抗網絡對書法進行風格遷移的方法，其特征在于，所述步驟3具體按照以下步驟實施：

步驟3.1、選取步驟2.1中裁剪后的任意一張風格A的圖片x作為樣本輸入生成器G中，所輸入的圖片x經過生成器訓練，生成一張風格B的圖片y'，即G(x)＝y'；

步驟3.2、選取步驟2.1中裁剪后的任意一張風格B的圖片y作為樣本輸入生成器F中，所輸入的圖片y經過生成器訓練，生成一張風格A的圖片x'，即F(y)＝x'；

步驟3.3、創建兩個判別器D_X和判別器D_Y：

判別器D_X：輸入步驟3.2生成的圖片x'或步驟2.1中裁剪后的任意一張風格A的圖片x，輸出16x16矩陣，各個元素越接近0.9，損失函數值越小；

判別器D_Y：輸入步驟3.1生成的圖片y'或步驟2.1中裁剪后的任意一張風格B的圖片y，輸出16x16矩陣，各個元素越接近0.9，損失函數值越小；

損失函數值越小，說明該網絡訓練生成的圖片越接近目標圖片，即風格遷移越成功。