[發(fā)明專利]基于少量樣本的風(fēng)格字符生成方法

有效

• 申請?zhí)枺?/td>: 201810683657.0
• 申請日: 2018-06-28
• 公開（公告）號: CN109165376B
• 公開（公告）日: 2023-07-18
• 發(fā)明（設(shè)計(jì)）人: 黃開竹;江浩川;楊關(guān)禹;王晨暉;張銳
• 申請（專利權(quán)）人: 西交利物浦大學(xué)
• 主分類號: G06F40/126
• 分類號: G06F40/126;G06V30/32;G06V10/82;G06N3/045;G06N3/0464;G06N3/0475;G06N3/094
• 代理公司: 蘇州創(chuàng)元專利商標(biāo)事務(wù)所有限公司 32103
• 代理人: 馬明渡;王健

1.一種基于少量樣本的風(fēng)格字符生成方法，其特征在于：以若干種風(fēng)格字符組成風(fēng)格參考字符數(shù)據(jù)集，以及標(biāo)準(zhǔn)風(fēng)格的字符作為字符內(nèi)容原型數(shù)據(jù)源，使用基于深度生成對抗網(wǎng)絡(luò)的圖像翻譯模型，訓(xùn)練出一個字符風(fēng)格遷移的字符生成模型；該模型能夠以少量個或者一個標(biāo)準(zhǔn)風(fēng)格的字符作為風(fēng)格參考樣本，生成帶有同種書寫或印刷風(fēng)格的任意字符，生成字符的內(nèi)容則由輸入的帶有標(biāo)準(zhǔn)風(fēng)格的內(nèi)容原型來決定；

所述字符生成模型由內(nèi)容原型編碼器Content?Prototype?Encoder，Enc_p，風(fēng)格參考編碼器Style?Reference?Encoder，Enc_r和解碼器Decoder，Dec所組成，因?yàn)閮蓚€編碼器從結(jié)構(gòu)上來說是并列的關(guān)系，因此，深度模型網(wǎng)絡(luò)的總層數(shù)是12層；

所述內(nèi)容原型編碼器Content?Prototype?Encoder，Enc_p，輸入數(shù)據(jù)為一個標(biāo)準(zhǔn)風(fēng)格的字符x⁰_j，表示成長寬為64*64，值域在[0，255]之間的灰度圖片，輸出為經(jīng)過若干個殘差單元或者直接連接的各級卷積特征；該內(nèi)容原型編碼器由連續(xù)的間隔步幅值為2的卷積運(yùn)算所組成，用于提取所輸入的標(biāo)準(zhǔn)風(fēng)格的字符x⁰_j從低級到高級的各級特征，每級特征較之其上一級特征，特征長寬減半，其所得到的標(biāo)準(zhǔn)風(fēng)格的字符的最高級特征，長寬均為1；

所述風(fēng)格參考編碼器Style?Reference?Encoder，Enc_r，其輸入為帶有某一種風(fēng)格N個不同字符{xⁱ_b1,?xⁱ_b2,…,?xⁱ_bN}，風(fēng)格用i來表示，同樣表示成長寬為64*64，值域在[0，255]之間的灰度圖片；輸出為?N?份各級卷積特征進(jìn)行平均運(yùn)算后，再經(jīng)過若干個殘差單元Residual?Blocks?或者直接連接，輸出各級卷積特征；

該風(fēng)格參考編碼器基本結(jié)構(gòu)與Enc_p相似，但為了處理一次性輸入的N個帶有某種書寫風(fēng)格字符，假設(shè)為第i個風(fēng)格，?{xⁱ_b1,?xⁱ_b2,…,?xⁱ_bN}的平均特征，對應(yīng)這些N個字符的N個卷積特征；首先需要對N份各級卷積特征進(jìn)行平均運(yùn)算，從而得出這N個字符{xⁱ_b1,?xⁱ_b2,…,xⁱ_bN}的1個各級平均卷積特征，此后再放入若干個殘差單元或者直接連接后送入解碼器Dec；

所述內(nèi)容原型編碼器Enc_p、風(fēng)格參考編碼器Enc_r對各自輸入數(shù)據(jù)進(jìn)行特征提取，并將提取過后的信息串聯(lián)后輸入解碼器網(wǎng)絡(luò)Decoder，?Dec；Dec解碼器網(wǎng)絡(luò)對從內(nèi)容原型編碼器Enc_p和風(fēng)格參考編碼器Enc_r的輸入來的各級卷積特征進(jìn)行串聯(lián)后進(jìn)行恢復(fù)及重建，輸出帶有某一種的風(fēng)格的生成字符G（x⁰_j,?xⁱ_b1,?xⁱ_b2,…,?xⁱ_bN），亦表示成長寬為64*64，值域在[0，255]之間的灰度圖片；

該生成字符的內(nèi)容來源于輸入到Enc_p的標(biāo)準(zhǔn)風(fēng)格的字符x⁰_j，風(fēng)格來源于輸入到Enc_r的N個帶有第i個風(fēng)格的字符{xⁱ_b1,?xⁱ_b2,…,?xⁱ_bN}；

該解碼器由連續(xù)的卷積間隔步幅值為2的反卷積運(yùn)算所組成，即后一級特征的長寬是前一級特征的兩倍，最終生成與輸入的標(biāo)準(zhǔn)風(fēng)格的字符長寬一致的具有特定風(fēng)格的字符；

包括以下步驟：

步驟一、訓(xùn)練開始之前，需要對字符生成模型的參數(shù)進(jìn)行隨機(jī)初始化，從而給定訓(xùn)練的開始狀態(tài)；

步驟二、我們使用隨機(jī)優(yōu)化的訓(xùn)練策略來對該字符生成模型進(jìn)行訓(xùn)練，訓(xùn)練目標(biāo)即為最小化字符生成模型的訓(xùn)練誤差L_G；

步驟三、當(dāng)L_G的值不再繼續(xù)下降后，停止訓(xùn)練，此時(shí)訓(xùn)練所得的模型參數(shù)即稱為訓(xùn)練完成的字符生成模型；

步驟四、獲取某個書寫風(fēng)格的若干個字符，假設(shè)為N個，?N=32，{xⁱ_b1，xⁱ_b2，…，xⁱ_bN}，并將N個字符依次輸入到訓(xùn)練完成的字符生成模型的風(fēng)格參考編碼器Enc_r，得出N份各級卷積特征，對應(yīng)N個不同的同風(fēng)格字符；

步驟五，對由Enc_r計(jì)算得出的，?對應(yīng)于N個輸入的帶有同一種書寫風(fēng)格的字符的N份各級卷積特征進(jìn)行平均計(jì)算，?得出N份各級卷積特征的一份平均各級卷積體征；

步驟六、對步驟五所得出的各級卷積特征進(jìn)行相應(yīng)的殘差單元操作或直接連接操作，保存各級卷積特征的計(jì)算結(jié)果，作為此后輸入解碼器的風(fēng)格參考特征；

步驟七、向內(nèi)容原型編碼器Enc_p輸入欲生成字符對應(yīng)的標(biāo)準(zhǔn)風(fēng)格的字符x⁰_j，計(jì)算出各級卷積特征后，進(jìn)行相應(yīng)的殘差單元或者直接連接操作；

步驟八、將兩個編碼器所得到的各級卷積特征，分別串聯(lián)到解碼器的各級輸出特征之上，從而生成欲產(chǎn)生的帶有特定風(fēng)格的任意字符，G（x⁰_j，xⁱ_b1，xⁱ_b2，…，xⁱ_bN）。

2.?根據(jù)權(quán)利要求1所述的基于少量樣本的風(fēng)格字符生成方法，其特征在于：所述訓(xùn)練中所使用的手寫體數(shù)據(jù)庫中國科學(xué)院手寫漢字脫機(jī)數(shù)據(jù)庫為CASIA-HWDB1.1-OFFLINE和CASIA-HWDB2.1-OFFLINE兩個數(shù)據(jù)集，兩個數(shù)據(jù)集中，挑選若干書寫者所寫字符中所有收錄在GB2312一級字符集中的所有簡體字符數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，?用以訓(xùn)練該字符生成模型；

印刷體數(shù)據(jù)庫為若干種挑選出來的常用中文印刷體，其中所有收錄于GB2312字符集中的所有簡體漢字作為訓(xùn)練數(shù)據(jù)。