[發(fā)明專利]一種基于特征融合的個性化漢字字體圖片生成方法

在審

• 申請?zhí)枺?/td>: 202010510661.4
• 申請日: 2020-06-08
• 公開（公告）號: CN111667008A
• 公開（公告）日: 2020-09-15
• 發(fā)明（設(shè)計(jì)）人: 王存睿;黃星宇
• 申請（專利權(quán)）人: 大連民族大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 大連星海專利事務(wù)所有限公司 21208
• 代理人: 徐雪蓮

1.一種基于特征融合的個性化漢字字體圖片生成方法，其特征在于，包括以下步驟：

S1、漢字轉(zhuǎn)化為圖片：將GB2312國際碼標(biāo)準(zhǔn)字庫中每種字體下的漢字以獨(dú)立圖片形式保存至字庫圖集中，從字庫圖集中將同種字體下選取預(yù)設(shè)數(shù)量的漢字圖片復(fù)制為訓(xùn)練漢字圖集；字體設(shè)計(jì)人員對所述訓(xùn)練漢字圖集中的每個漢字進(jìn)行個性化設(shè)計(jì)，得到個性化字體漢字并將個性化字體漢字分別以獨(dú)立圖片形式保存至訓(xùn)練漢字個性化圖集中；并使字庫圖集和訓(xùn)練漢字個性化圖集中每幅圖片的大小相同；

S2、模型構(gòu)建：生成對抗網(wǎng)絡(luò)模型包括預(yù)訓(xùn)練的字體特征提取網(wǎng)絡(luò)、生成器及判別器；所述預(yù)訓(xùn)練的字體特征提取網(wǎng)絡(luò)是對字體特征提取網(wǎng)絡(luò)VGG16進(jìn)行訓(xùn)練,訓(xùn)練時，隨機(jī)選取字庫圖集中75％的圖片作為訓(xùn)練集，剩余25％的圖片作為測試集，并保存訓(xùn)練參數(shù)；生成器采用編碼器-解碼器結(jié)構(gòu),判別器為卷積神經(jīng)網(wǎng)絡(luò)；所述編碼器包含5個向下采樣層，每層采用一個卷積核為5×5步長為2的卷積層，批量規(guī)范化層以及LReLu層構(gòu)成，所述解碼器包含5個向上采樣層，每層采用一個卷積核為5×5步長為2的反卷積層，批量規(guī)范化層以及ReLu層；

S3、訓(xùn)練模型：在保持預(yù)訓(xùn)練的字體特征提取網(wǎng)絡(luò)的訓(xùn)練參數(shù)不變的條件下，利用步驟S1得到的訓(xùn)練漢字圖集輸入到生成對抗網(wǎng)絡(luò)模型的編碼器中，當(dāng)生成對抗網(wǎng)絡(luò)模型損失函數(shù)的值最小時訓(xùn)練完成；

S4、生成字體圖像集獲取：將訓(xùn)練漢字圖集分別輸入訓(xùn)練完成的生成對抗網(wǎng)絡(luò)模型及字體特征提取網(wǎng)絡(luò)中分別得到字體特征編碼字體特征向量；將字體特征向量、字體特征編碼與字體類別向量組合到一起作為特征組合向量集，所述字體類別向量是一個64維的隨機(jī)向量；將所述特征組合向量集輸入到生成對抗網(wǎng)絡(luò)模型的解碼器中生成具有目標(biāo)字體風(fēng)格的圖像作為訓(xùn)練生成字體圖像集；

S5、漢字類型判別：將所述訓(xùn)練漢字個性化圖集與訓(xùn)練生成字體圖像集輸入到判別器中，并通過判別器的損失函數(shù)對訓(xùn)練生成字體圖像集中的漢字圖像與訓(xùn)練漢字個性化圖集中的漢字圖像之間的差異進(jìn)行判別；所述判別器的損失函數(shù)中包括對抗損失函數(shù)、字體類別損失函數(shù)、像素匹配損失函數(shù)；若損失函數(shù)L未達(dá)到最小值，說明訓(xùn)練生成字體圖像集與訓(xùn)練漢字個性化圖集中的漢字有差異，則重復(fù)步驟S3，重新訓(xùn)練模型得到更新的網(wǎng)絡(luò)參數(shù)；

判別器的損失函數(shù)L如下：

L＝w_advL_adv+w₁L₁+w_cateL_cate

其中，L_adv為對抗損失函數(shù)，表示判別器對于生成字體圖像集中的漢字圖像與訓(xùn)練漢字個性化圖集中的漢字圖像之間的判別損失：其中，D(·)是由判別器輸出的結(jié)果數(shù)據(jù)，G(z)是由生成器輸出的結(jié)果數(shù)據(jù)；pdata表示真實(shí)樣本分布；pinput表示噪聲分布；L₁為像素匹配損失函數(shù)；x為訓(xùn)練漢字個性化圖集中的漢字圖像，Z為噪聲；L_cate為字體類別損失函數(shù)，w_adv，w₁，w_cate為權(quán)重系數(shù)；

S6、字體生成：經(jīng)過步驟S4的判別，若訓(xùn)練漢字個性化圖集與訓(xùn)練生成字體圖像集的判別結(jié)果為無差異，則將字庫圖集作為輸入數(shù)據(jù)重復(fù)步驟S4得到生成字體圖像集。

2.根據(jù)權(quán)利要求1所述的一種基于特征融合的個性化漢字字體圖片生成方法，其特征在于，所述訓(xùn)練漢字圖集為根據(jù)漢字使用頻率以及漢字的筆畫結(jié)構(gòu)從所述字庫圖集中人工選取的670個漢字圖片。

3.根據(jù)權(quán)利要求1所述的一種基于特征融合的個性化漢字字體圖片生成方法，其特征在于，字庫圖集和個性化字體漢字圖片集中每幅圖片的大小均為224*224。

4.根據(jù)權(quán)利要求1所述的一種基于特征融合的個性化漢字字體圖片生成方法，其特征在于，編碼器-解碼器之間添加連接層，對應(yīng)層之間進(jìn)行跳躍連接。

5.根據(jù)權(quán)利要求1所述的一種基于特征融合的個性化漢字字體圖片生成方法，其特征在于，所述判別器采用3個級聯(lián)的Conv-BN-LReLu網(wǎng)絡(luò)結(jié)構(gòu)，最后采用兩層全連接神經(jīng)網(wǎng)絡(luò)。同時鑒別器不單單在最后輸出層鑒別圖片的真?zhèn)危⑶以阼b別器的中間層特征也進(jìn)行鑒別。