[發(fā)明專(zhuān)利]一種基于深度學(xué)習(xí)的手寫(xiě)字擦除方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210401782.4
• 申請(qǐng)日: 2022-04-18
• 公開(kāi)（公告）號(hào): CN114708601A
• 公開(kāi)（公告）日: 2022-07-05
• 發(fā)明（設(shè)計(jì)）人: 陳力軍;劉佳;賴(lài)慧慧;陳星宇;鄢偉
• 申請(qǐng)（專(zhuān)利權(quán)）人: 南京大學(xué);江蘇圖客機(jī)器人有限公司
• 主分類(lèi)號(hào): G06V30/412
• 分類(lèi)號(hào): G06V30/412;G06K9/62;G06N3/04;G06N3/08;G06V10/774;G06V10/82
• 代理公司: 江蘇圣典律師事務(wù)所 32237
• 代理人: 胡建華

1.一種基于深度學(xué)習(xí)的手寫(xiě)字擦除方法，其特征在于，包括如下步驟：

步驟1，制作訓(xùn)練樣本，包括含有手寫(xiě)字和印刷內(nèi)容的原始圖、手寫(xiě)字和印刷內(nèi)容逐像素分類(lèi)的掩碼圖以及只含有印刷內(nèi)容的目標(biāo)圖；

步驟2，建立深度學(xué)習(xí)模型；

步驟3，將訓(xùn)練樣本預(yù)處理后，送入深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，訓(xùn)練過(guò)程包括：輸入訓(xùn)練樣本中的原始圖，輸出掩碼生成圖和目標(biāo)生成圖；計(jì)算損失，優(yōu)化模型參數(shù)；重復(fù)訓(xùn)練直至模型收斂，得到訓(xùn)練完成后的深度學(xué)習(xí)模型；

步驟4，獲取需要去除手寫(xiě)字的文檔圖像；

步驟5，將需要去除手寫(xiě)字的文檔圖像輸入訓(xùn)練完成后的深度學(xué)習(xí)模型，得到去除手寫(xiě)字后的圖像，完成基于深度學(xué)習(xí)的手寫(xiě)字擦除。

2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的手寫(xiě)字擦除方法，其特征在于，步驟1中所述制作訓(xùn)練樣本的方法包括：

步驟1-1，準(zhǔn)備含有手寫(xiě)字和印刷內(nèi)容的文檔，使用拍照設(shè)備或掃描設(shè)備獲取文檔圖像，得到原始圖；

步驟1-2，采用圖像編輯軟件對(duì)原始圖中的手寫(xiě)字進(jìn)行逐像素去除和填補(bǔ)，得到目標(biāo)圖；

步驟1-3，采用算法程序?qū)υ紙D和目標(biāo)圖進(jìn)行計(jì)算，得到掩碼圖。

3.根據(jù)權(quán)利要求2所述的一種基于深度學(xué)習(xí)的手寫(xiě)字擦除方法，其特征在于，步驟1-3中所述通過(guò)計(jì)算得到掩碼圖的方法包括：

對(duì)原始圖和目標(biāo)圖作差，得到差異圖；

差異圖求絕對(duì)值后，對(duì)三通道的值取平均，得到差異灰度圖；

將差異灰度圖大于閾值的像素置為0，表示分類(lèi)為手寫(xiě)字，其他部分置為1，表示印刷內(nèi)容，得到掩碼圖，所述掩碼圖為二值掩碼圖。

4.根據(jù)權(quán)利要求3所述的一種基于深度學(xué)習(xí)的手寫(xiě)字擦除方法，其特征在于，步驟2中，所述深度學(xué)習(xí)模型為全卷積神經(jīng)網(wǎng)絡(luò)，包括：掩碼生成模塊、第一階段圖像生成模塊以及第二階段圖像生成模塊。

5.根據(jù)權(quán)利要求4所述的一種基于深度學(xué)習(xí)的手寫(xiě)字擦除方法，其特征在于，步驟2中所述深度學(xué)習(xí)模型的每個(gè)模塊均采用編碼器-解碼器的結(jié)構(gòu)，其中，掩碼生成模塊與第一階段圖像生成模塊的編碼器共享參數(shù)。

6.根據(jù)權(quán)利要求5所述的一種基于深度學(xué)習(xí)的手寫(xiě)字擦除方法，其特征在于，步驟2中所述的全卷積神經(jīng)網(wǎng)絡(luò)中，添加跳躍連接，部署在各個(gè)模塊的編碼器與解碼器之間以及第一階段圖像生成模塊的解碼器與第二階段圖像生成模塊的編碼器之間；

掩碼生成模塊采用注意力機(jī)制，用掩碼特征圖生成空間域注意力矩陣，指導(dǎo)目標(biāo)圖生成；

第二階段圖像生成模塊中，編碼器與解碼器交界處的卷積層使用可變形卷積，實(shí)現(xiàn)自適應(yīng)特征采樣。

7.根據(jù)權(quán)利要求6所述的一種基于深度學(xué)習(xí)的手寫(xiě)字擦除方法，其特征在于，步驟3中，所述預(yù)處理方法包括：

將訓(xùn)練樣本歸一化至相同尺寸，并使用隨機(jī)水平翻轉(zhuǎn)以及隨機(jī)角度旋轉(zhuǎn)進(jìn)行數(shù)據(jù)增強(qiáng)。

8.根據(jù)權(quán)利要求7所述的一種基于深度學(xué)習(xí)的手寫(xiě)字擦除方法，其特征在于，步驟3中，所述計(jì)算損失的方法包括：使用SmoothL1損失函數(shù)計(jì)算目標(biāo)圖損失，使用Dice損失函數(shù)計(jì)算掩碼圖損失，目標(biāo)圖損失和掩碼圖損失相加得到總損失loss，計(jì)算方法包括：

其中，img_origin表示原始圖，img_mask表示掩碼圖，img_target表示目標(biāo)圖，帶頂線標(biāo)注的變量表示對(duì)應(yīng)的預(yù)測(cè)結(jié)果，表示掩碼生成模塊M生成的掩碼圖，表示通過(guò)第一階段圖像生成模塊G₁和第二階段圖像生成模塊G₂輸出的目標(biāo)圖；

掩碼圖損失計(jì)算方法為：

目標(biāo)圖損失計(jì)算方法包括：

其中，Y、分別表示同分辨率的兩張圖，每張圖有n個(gè)像素值，y_i和分別表示Y和中的第i個(gè)像素值，smoothl1函數(shù)用于度量?jī)蓚€(gè)值的距離，y和分別表示被度量的兩個(gè)值，β取0.5。