[發明專利]基于深度元學習和生成對抗網絡的字體修復方法及系統

在審

• 申請號: 202210563901.6
• 申請日: 2022-05-23
• 公開（公告）號: CN115170403A
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 張鈞建;顧釗銓;王樂;朱東;謝禹舜;譚昊;張歡;張登輝;唐可可;韓偉紅;李樹棟;仇晶;李默涵
• 申請（專利權）人: 廣州大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08;G06V10/74;G06V10/82;G06V30/19;G06V30/226
• 代理公司: 廣州高炬知識產權代理有限公司 44376
• 代理人: 孫明科

1.一種基于深度元學習和生成對抗網絡的字體修復方法，其特征在于，其包括如下步驟：

S1、使用數據獲取模塊獲取已有的書法字體數據集Dataset-1以及字體的筆畫和結構數據；

S2、使用數據處理模塊將數據針對不同任務進行不同方式的處理；

S3、使用Font-Meta模塊對殘缺的書法字體進行補全；

S4、使用字體審核模塊尋找最好的補全字體；

S5、使用字體輸出模塊輸出修復字體。

2.根據權利要求1所述基于深度元學習和生成對抗網絡的字體修復方法，其特征在于，所述S1中所述數據集Dataset-1構建的步驟為：

S11、獲取待修復的書法作品；

S12、利用覆蓋矩陣對原始整幅書法作品圖像進行書法字體裁剪，將裁剪后的獲得的圖像進行擴充或者壓縮至大小為256×256的圖片；

S13、對統一尺寸后的圖片轉為單通道，進行二值化處理，得到字的二值化圖片；

S14、二值化圖片集構建所述數據集Dataset-1。

3.根據權利要求2所述基于深度元學習和生成對抗網絡的字體修復方法，其特征在于，將所述數據集Dataset-1進一步處理為Dataset-11，具體步驟為：

S21、獲得完整書法字體和藝術字體；

S22、選擇圖像熵最大的圖片作為數據；

S23、隨機生成不同大小的不規則形狀作為字體掩碼，模擬書法字體的缺損情況；

S24、字體掩碼分別加入數據集Dataset-11中，得到類缺失圖片集合；

S25、將類缺失圖片集合進行配對，構建數據集Dataset-11。

4.根據權利要求3所述的基于深度元學習和生成對抗網絡的字體修復系統，其特征在于，所述S3包括：

S31、構造字體補全網絡FDR-Net，循環生成對抗網絡和字體結構審核模型；

S32、利用MAML的方法對字體補全網絡FDR-Net進行預訓練；

S33、將字體補全網絡FDR-Net修復后的字體放入循環生成對抗網絡進行局部風格調整，輸出風格轉換后的字體圖像。

5.根據權利要求4任一項所述基于深度元學習和生成對抗網絡的字體修復方法，其特征在于，將所述數據集Dataset-11放入所述Font-Meta模塊中進行學習，初始化并預訓練字體補全網絡FDR-Net，步驟為：

S321、獲取字體筆畫數據；

S322、獲取字體結構數據；

S323、構造模擬書法字體殘缺的數據集，進行殘缺數據和原始數據配對；

S324、構造字體補全網絡FDR-Net模型；

S325、訓練字體補全網絡FDR-Net。

6.根據權利要求4所述基于深度元學習和生成對抗網絡的字體修復方法，其特征在于，所述S33包括：

S331、初始并預訓練循環生成對抗網絡；

S332、得到待修復的書法字體數據，并對字體補全網絡FDR-Net精調，進行風格和字體內容結構學習；

S333、預訓練和精調后得到精調后的字體補全網絡FDR-Net；

S334、對缺失部分進行補全，得到初步修復后的圖片；

S335、將初步修復后的圖片輸入循環生成對抗網絡中進行局部風格遷移，得到遷移后的圖像。

7.根據權利要求5所述基于深度元學習和生成對抗網絡的字體修復方法，其特征在于，所述預訓練字體補全網絡FDR-Net，能夠補全缺失部分的筆畫結構，得到補全后的書法字體M1。