[發(fā)明專利]一種基于多任務生成對抗網絡的字體風格遷移方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110738148.5
• 申請日: 2021-06-30
• 公開（公告）號: CN113421318B
• 公開（公告）日: 2022-10-28
• 發(fā)明（設計）人: 田輝;劉其開
• 申請（專利權）人: 合肥高維數據技術有限公司
• 主分類號: G06T11/60
• 分類號: G06T11/60;G06V10/82;G06V10/774;G06V10/764;G06N3/04;G06N3/08
• 代理公司: 北京知聯天下知識產權代理事務所(普通合伙) 11594
• 代理人: 史光偉;張迎新

1.一種基于多任務生成對抗網絡的字體風格遷移方法，其特征在于，包括下面步驟：

獲取包含多種字體的樣本集，并對每種字體風格遷移條件進行標注；

構建生成對抗網絡模型；

將所述樣本集和所述字體風格遷移條件輸入所述生成對抗網絡模型，對所述生成對抗網絡模型進行訓練，并根據訓練結果對所述生成對抗網絡模型進行參數優(yōu)化直至網絡收斂穩(wěn)定，其中，優(yōu)化過程步驟為：1)初始化生成器和判別器的網絡參數，以及設置訓練超參數；2)采樣訓練，輸入一個批次訓練樣本，進行前向推理，計算得到判別器的損失，通過梯度下降算法優(yōu)化判別器的參數；3)當步驟2)執(zhí)行完之后，計算生成器的損失，使用梯度下降優(yōu)化生成網絡參數；4)根據步驟2)和步驟3)完成了一次生成器與判別器交叉優(yōu)化，并根據網絡收斂情況以及損失的大小，重復上述步驟2)和步驟3)；

獲取所述生成對抗網絡模型訓練后得到的生成器。

2.根據權利要求1所述的基于多任務生成對抗網絡的字體風格遷移方法，其特征在于，所述的構建生成對抗網絡模型包括步驟：

構建生成對抗網絡的生成器，在所述生成器中加入特征注意力模塊，所述特征注意力模塊用于將卷積特征圖轉換為注意力特征圖。

3.根據權利要求2所述的基于多任務生成對抗網絡的字體風格遷移方法，其特征在于，所述的將卷積特征圖轉換為注意力特征圖的步驟為：

將卷積特征圖X輸入所述特征注意力模塊；

卷積特征圖X∈R^C×H×W經1×1卷積得到F、G、M三個特征空間；F、G、M對應的通道數量分別為C/8、C/8和C，C代表卷積特征圖的通道數；H代表卷積特征圖的寬度，W代表卷積特征圖的高度；

將特征空間F轉置后與特征空間G進行矩陣乘法操作，得到特征注意力層；

采用Softmax得到所述特征注意力層的參數：

其中，P_j,i表示第i個位置的特征對第j個位置的特征的影響權重值，i和j的范圍為1～H×W；

F_i表示:F特征空間第i個像素位置上所有通道的值的行向量，G_j表示：G特征空間第j個像素位置上所有通道的值的列向量；

兩個位置的特征相似性同它們之間的相關性成正相關；

將所述特征注意力層轉置后與特征空間M進行矩陣乘法操作，得到所述特征注意力模塊輸出的注意力特征圖P：

P＝(P₁,P₂,…,P_(HxW))，P∈R^C×H×W；

其中，M_i表示：M特征空間第i個像素位置上所有通道的值的行向量，P_j表示：第j個通道的特征圖；i和j的范圍為1～H×W。

4.根據權利要求1所述的基于多任務生成對抗網絡的字體風格遷移方法，其特征在于，所述的構建生成對抗網絡模型包括步驟：

構建生成對抗網絡的判別器，在所述判別器中添加全連接層作為輔助分類器，所述輔助分類器用于對遷移結果的字體進行分類。

5.根據權利要求1所述的基于多任務生成對抗網絡的字體風格遷移方法，其特征在于，所述的獲取包含多種字體的樣本集的步驟為：

確定作為樣本的、預定數量的且互不相同的文字；

收集包括目標遷移字體在內多種不同字體的、每個文字的格式的圖片；

對收集到的所述圖片進行圖像二值化處理。

6.根據權利要求1～5中任一項所述的基于多任務生成對抗網絡的字體風格遷移方法，其特征在于，所述樣本集包括訓練集和測試集，

所述訓練集用于對所述生成對抗網絡模型進行訓練；

所述測試集用于對訓練后的所述生成對抗網絡模型的準確度進行驗證。

7.根據權利要求1所述的基于多任務生成對抗網絡的字體風格遷移方法，其特征在于：在對所述生成對抗網絡模型進行訓練時，采取均勻采樣方法對所述樣本集進行采樣。