[發明專利]基于多任務辨別器生成對抗網絡的字體生成方法及裝置

在審

• 申請號: 202110499634.6
• 申請日: 2021-05-08
• 公開（公告）號: CN113095038A
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 郭銘濤;唐勇;王錚;熊偉
• 申請（專利權）人: 杭州王道控股有限公司
• 主分類號: G06F40/109
• 分類號: G06F40/109;G06N3/04
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 周初冬

1.一種基于多任務辨別器生成對抗網絡的字體生成方法，其特征在于，包括：

將預先獲取的用戶創作的字體圖像，作為風格圖像；

將所述風格圖像輸入至預先訓練得到的生成對抗網絡中，得到所述生成對抗網絡輸出的字庫；

其中，所述生成對抗網絡包括生成器、第一辨別器和第二辨別器，所述字庫包括字體風格與所述風格圖像的字體風格相同、且字體內容互不相同的多個字體圖像，所述生成對抗網絡的訓練過程包括：

將訓練樣本、以及樣本風格圖像作為所述生成器的輸入，得到所述生成器輸出的目標圖像；所述訓練樣本包括樣本字體圖像；

將所述目標圖像和所述樣本字體圖像輸入至所述第一辨別器中，以所述目標圖像的字體內容與所述樣本字體圖像的字體內容之間的差異，作為訓練目標，調整所述第一辨別器的損失函數、以及所述生成器的參數；

將所述目標圖像和所述樣本風格圖像輸入至所述第二辨別器中，以所述目標圖像的字體風格與所述樣本風格圖像的字體風格之間的差異，作為訓練目標，調整所述第二辨別器的損失函數、以及所述生成器的參數。

2.根據權利要求1所述的方法，其特征在于，所述生成器包括第一編碼器、第二編碼器和解碼器；

所述將樣本字體圖像、以及樣本風格圖像作為所述生成器的輸入，得到所述生成器輸出的目標圖像，包括：

將訓練樣本作為所述第一編碼器的輸入，利用所述第一編碼器對所述訓練樣本進行字體內容特征提取，得到內容特征向量；

將樣本風格圖像作為所述第二編碼器的輸入，利用所述第二編碼器對所述樣本風格圖像進行字體風格特征提取，得到風格特征向量；

將所述內容特征向量和所述風格特征向量作為所述解碼器的輸入，利用所述解碼器對所述內容特征向量和所述風格特征向量進行融合，得到所述生成器對外輸出的目標圖像。

3.根據權利要求2所述的方法，其特征在于，所述訓練樣本包括字體內容相同、且字體風格不同的多個樣本字體圖像；

所述利用所述第一編碼器對所述訓練樣本進行字體內容特征提取，得到內容特征向量，包括：

利用所述第一編碼器執行下述步驟：

對所述字體內容相同、且字體風格不同的多個樣本字體圖像進行字體內容特征提取，得到多個內容特征向量；

計算各個所述內容特征向量的平均數，得到第一特征向量；

將所述第一特征向量作為所述第一編碼器對外輸出的內容特征向量。

4.根據權利要求2所述的方法，其特征在于，所述樣本風格圖像的數量為多個；

所述利用所述第二編碼器對所述樣本風格圖像進行字體風格特征提取，得到風格特征向量，包括：

利用所述第二編碼器執行下述步驟：

對多個所述樣本風格圖像進行字體風格特征提取，得到多個風格特征向量；

對各個所述風格特征向量進行全局池化；

計算各個全局池化后的所述風格特征向量的平均數，得到第二特征向量；

將所述第二特征向量作為所述第二編碼器對外輸出的風格特征向量。

5.根據權利要求2所述的方法，其特征在于，所述利用所述解碼器對所述內容特征向量和所述風格特征向量進行融合，得到所述生成器對外輸出的目標圖像，包括：

利用所述解碼器執行下述步驟：

分別對所述內容特征向量和所述風格特征向量進行自適應歸一化；

將自適應歸一化后的所述內容特征向量、以及自適應歸一化后的所述風格特征向量進行合并，得到第三特征向量；

對所述第三特征向量進行反變換，得到所述生成器對外輸出的目標圖像。