[發(fā)明專利]一種基于風(fēng)格遷移的書(shū)法文字侵蝕修復(fù)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110795546.0
• 申請(qǐng)日: 2021-07-14
• 公開(kāi)（公告）號(hào): CN113553932B
• 公開(kāi)（公告）日: 2022-05-13
• 發(fā)明（設(shè)計(jì)）人: 葉晨;杜承豪;鐘梓正;田雨竹
• 申請(qǐng)（專利權(quán)）人: 同濟(jì)大學(xué)
• 主分類號(hào): G06V30/32
• 分類號(hào): G06V30/32;G06V10/774;G06K9/62;G06T5/00
• 代理公司: 上海科律專利代理事務(wù)所(特殊普通合伙) 31290
• 代理人: 葉鳳

1.一種基于風(fēng)格遷移的書(shū)法漢字修復(fù)方法，特征是，如下：

首先，為確保風(fēng)格一致，本發(fā)明提出風(fēng)格編碼器，輸入輔助風(fēng)格字體，用于提取出拓片上完好漢字的書(shū)寫(xiě)風(fēng)格特征；

接著，為確保修復(fù)字型正確，輸入待修復(fù)漢字，提供該字的宋體完整版本作為原字型參考；將上述書(shū)寫(xiě)風(fēng)格特征、待修復(fù)漢字、參考原字型整合，三者一并輸入到用于修復(fù)漢字的生成器G中，得到修復(fù)結(jié)果，用于分別提供給判別器D和結(jié)構(gòu)提取器；

然后，判別器D的目標(biāo)是鑒別生成器G的修復(fù)結(jié)果與參與連接的原型字體和輸入編碼器之中的風(fēng)格字體，將前者判為假，后者判為真；同時(shí)，原字型也會(huì)通過(guò)結(jié)構(gòu)提取器生成帶有結(jié)構(gòu)特征的特征向量；通過(guò)下述的綜合損失函數(shù)反向傳播不斷優(yōu)化判別器D與生成器G,包括以下六個(gè)部分：

1)對(duì)抗損失，用于考量修復(fù)漢字整體而言是否接近真實(shí)完整漢字；

所述對(duì)抗損失函數(shù)：定義待修復(fù)的漢字圖像為c_c，完整圖像為c_t，同一個(gè)字的宋體原型圖像為c_p，與c_c具有相同風(fēng)格的其他完整漢字圖像為c_s，c_c和c_p在通道維度上連接得到的圖像向量為c_v，使用風(fēng)格編碼器抽取的c_p的風(fēng)格編碼為s_p，c_s的風(fēng)格編碼為s_s，c_t的風(fēng)格編碼為s_t，則生成式對(duì)抗網(wǎng)絡(luò)GAN的損失函數(shù)可表示如下：

其中D_s(c)是判別器，判別具有風(fēng)格s的圖像c是否是生成器生成的，G(c,s)表示這是生成器依據(jù)風(fēng)格編碼s對(duì)圖像c進(jìn)行修復(fù)后生成的結(jié)果；

2)L1損失，用于考量修復(fù)結(jié)果在像素級(jí)別上與標(biāo)準(zhǔn)結(jié)果的差距；

目標(biāo)平均絕對(duì)誤差損失函數(shù)：

其中c_v，c_t，s_s，G(c_v,s_s)的含義同上所述；

3)編碼損失，用于考量風(fēng)格編碼器編碼效果；

風(fēng)格編碼損失函數(shù)：

其中c_v，s_s，s_t的含義同上所述，G(c_c,s_t)表示生成器參考目標(biāo)圖像c_t的風(fēng)格編碼s_t對(duì)缺損圖像c_c,進(jìn)行修復(fù)的結(jié)果，G(c_c,s_s)表示生成器參考風(fēng)格字體c_s的風(fēng)格編碼s_s對(duì)缺損圖像c_c,進(jìn)行修復(fù)的結(jié)果；

4)風(fēng)格重構(gòu)損失，同樣用于考量修復(fù)漢字的風(fēng)格與原作品書(shū)寫(xiě)風(fēng)格的一致程度；

風(fēng)格編碼重構(gòu)損失函數(shù)：定義E(c)表示使用風(fēng)格編碼器提取文字圖像c的風(fēng)格編碼，風(fēng)格編碼重構(gòu)損失函數(shù)(4)可表示如下：

其中c_v，c_s，s_s的含義同上所述，G(c_v,s_s)表示生成器依據(jù)風(fēng)格字體c_s的風(fēng)格編碼s_s對(duì)圖像向量c_v進(jìn)行修復(fù)的結(jié)果，E(G(c_v,s_s))表示使用風(fēng)格編碼器提取修復(fù)結(jié)果的風(fēng)格編碼；

5)循環(huán)一致?lián)p失，用于考量字型是否保持完好；

所述循環(huán)一致性損失函數(shù)：定義G(c_v,s_s)表示生成器依據(jù)風(fēng)格編碼s_s對(duì)圖像c_v進(jìn)行修復(fù)的結(jié)果，表示G(c_v,s_s)在通道維度上與c_p連接得到的圖像向量，循環(huán)一致性損失函數(shù)可表示如下：

其中c_v，c_p，s_s，s_p的含義同上所述，表示生成器依據(jù)原型字體的風(fēng)格編碼s_p對(duì)圖像向量進(jìn)行反向復(fù)原的結(jié)果；

6)字型結(jié)構(gòu)損失，用于考量修復(fù)字型與真實(shí)字型的偏離程度；

文字結(jié)構(gòu)一致性損失函數(shù)：定義S(c)表示使用預(yù)訓(xùn)練結(jié)構(gòu)提取器抽取文字圖像c的文字結(jié)構(gòu)并以嵌入向量的形式輸出，文字結(jié)構(gòu)一致性損失函數(shù)(3)表示如下：

其中c_v，c_p，s_s的含義同上所述，G(c_v,s_s)表示生成器依據(jù)風(fēng)格字體c_s的風(fēng)格編碼s_s對(duì)圖像向量c_v進(jìn)行修復(fù)的結(jié)果，表示使用結(jié)構(gòu)提取器從修復(fù)結(jié)果中提取結(jié)構(gòu)嵌入向量，S(c_p)表示從原型字體c_p提取結(jié)構(gòu)嵌入向量；

采用綜合損失函數(shù)以協(xié)調(diào)以上六個(gè)損失函數(shù)；模型的綜合損失函數(shù)可表示如下：

其中，定義文字結(jié)構(gòu)一致性損失函數(shù)(3)的權(quán)重為λ_str，定義目標(biāo)平均絕對(duì)誤差損失函數(shù)(6)的權(quán)重為λ_L1；風(fēng)格編碼損失函數(shù)(5)有較明顯的作用，定義其權(quán)重為λ_enc；其他損失函數(shù)在共同作用下能產(chǎn)生一定影響，定義對(duì)抗損失函數(shù)(1)的權(quán)重為λ_adv，循環(huán)一致性損失函數(shù)(2)的權(quán)重為λ_cyc，風(fēng)格編碼重構(gòu)損失函數(shù)(4)的權(quán)重為λ_sty。