[發明專利]基于少量樣本的風格字符生成方法

有效

• 申請號: 201810683657.0
• 申請日: 2018-06-28
• 公開（公告）號: CN109165376B
• 公開（公告）日: 2023-07-18
• 發明（設計）人: 黃開竹;江浩川;楊關禹;王晨暉;張銳
• 申請（專利權）人: 西交利物浦大學
• 主分類號: G06F40/126
• 分類號: G06F40/126;G06V30/32;G06V10/82;G06N3/045;G06N3/0464;G06N3/0475;G06N3/094
• 代理公司: 蘇州創元專利商標事務所有限公司 32103
• 代理人: 馬明渡;王健

本發明公開一種基于少量樣本的風格字符生成方法，以若干種風格字符(手寫體風格或者印刷體風格)組成風格參考字符數據集，以及一種標準字體的字符作為字符內容原型數據源，使用基于深度生成對抗網絡的圖像翻譯模型，訓練出一個字符風格遷移的字符生成模型；該模型能夠以任意給定的少量(甚至一個)帶有某種風格(書寫體/印刷體)的字符作為風格參考樣板，生成帶有同種書寫/印刷風格的任意字符；生成字符的內容則由輸入的內容原型(標準字體)來決定。

技術領域

本發明涉及一種風格字符生成方法，尤其涉及一種基于少量樣本風格的手寫或印刷體字符生成方法。

背景技術

根據Z.H.Lian等人在SIGGRAPH?ASIA?2016發表的論文《Automatic?generationof?large-scale?handwriting?fonts?via?style?learning》中描述的模型，用戶可根據其提供的接口輸入自己手寫的部分字符，從而得到一些模型輸出的風格類似的字符。例如，用戶提供266個字符輸入到模型中可以得到27533個風格類似的字符。但是，該模型的訓練需要提供大量的標注數據，并且需要用戶較為規范的輸入才能得到預期的結果，在較少標注數據的情況下的效果不好。模型的重點在于分離出字體的各個筆畫，再輸入到神經網絡中進行學習，從而根據筆畫的風格來學習到整個字體的風格。但其構造僅僅是簡單的多層卷積網絡，對于稍微復雜的輸入例如較潦草的字符，則效果一般。并且模型的泛化能力不足。

zi2zi是一種基于風格轉換通用模型pix2pix（Isola，?Phillip?and?Zhu，?Jun-Yan?and?Zhou，?Tinghui?and?Efros，?Alexei?A，《Image-to-Image?Translation?withConditional?Adversarial?Networks》）的字符風格學習模型，它通過16層深度卷積/反卷積網絡來實現從標準字體到有風格字體到風格遷移任務。每一種手寫體的風格信息由一個1*128維的隨機向量來表示，表示多個手寫體風格的隨機向量矩陣我們稱之為categoryembedding。

將表示風格信息的隨機向量輸入16層的深度卷積/反卷積網絡中，使標準字體向用戶手寫風格靠近。當訓練樣本足夠多時，能夠生成較好的字體。然而模型參數數量巨大，難以訓練，并且需要很多訓練樣本才能夠完成任務。同時，因為訓練時需要固定所有涉及到的手寫字體，該模型無法處理未知手寫字體的生成任務。

基于以上模型，Z.H.Lian等在SIGGRAPH?ASIA?2017發表的論文《DCFont:?an?end-to-end?deep?chinese?font?generation?system》則提出了原本模型的改進方法：引入條件生成式對抗網絡（cGAN），將學習筆畫輪廓替換為在標準字體（例如楷體）的基礎上加入手寫風格的特征。手寫特征提取則由生成器（encoder-decoder）和VGG-16深度卷積網絡完成。然而模型的問題仍然是無法處理很潦草的輸入字符風格問題，并且需要較多的訓練樣本。

發明內容

本發明的目的是提供一種基于少量樣本的風格字符生成方法，該手寫字符生成方法實現了根據同一風格的少量(甚至一個)字符生成相應風格的字體,?包括手寫體和印刷體。

為達到上述目的，本發明采用的技術方案是：一種基于少量樣本風格字符生成方法，其特征在于：以若干種(多余50種)手寫體字符為手寫體風格遷移目標，或者若干種常見印刷體(多余50種)字符為印刷體風格遷移目標,?以及一種標準字體的字符作為風格遷移源，使用基于深度生成對抗網絡的圖像翻譯模型，訓練出一個字符風格遷移的字符生成模型；

所述字符生成模型由內容原型編碼器Content?Prototype?Encoder，Enc_p，風格參考編碼器Style?Reference?Encoder，Enc_r和解碼器Decoder，Dec所組成，因為兩個編碼器從結構上來說是并列的關系，因此，網絡的總層數是12層；