[發明專利]一種基于深度學習的手寫字擦除方法

在審

• 申請號: 202210401782.4
• 申請日: 2022-04-18
• 公開（公告）號: CN114708601A
• 公開（公告）日: 2022-07-05
• 發明（設計）人: 陳力軍;劉佳;賴慧慧;陳星宇;鄢偉
• 申請（專利權）人: 南京大學;江蘇圖客機器人有限公司
• 主分類號: G06V30/412
• 分類號: G06V30/412;G06K9/62;G06N3/04;G06N3/08;G06V10/774;G06V10/82
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 胡建華

本發明公開了一種基于深度學習的手寫字擦除方法。該方法針對文檔圖像進行手寫字擦除，使用卷積神經網絡模型，在保留印刷字與背景圖像細節的同時，識別手寫字區域并自動填補合適的像素值。其中，卷積神經網絡模型引入跳躍連接，將網絡淺層特征與深層語義信息結合，增強圖像細節生成效果；采用可變形卷積方法，讓網絡自適應調節卷積采樣位置，提高不同形狀尺寸的手寫字跡擦除效果；通過注意力機制，引導網絡關注手寫字區域的特征提取，提高分辨手寫字與印刷內容的能力，減弱復雜背景對擦除效果的影響。

技術領域

本發明涉及一種手寫字擦除方法，特別是一種基于深度學習的手寫字擦除方法。

背景技術

對文檔進行拍照并擦除文檔圖像中的手寫字是一種文檔還原技術，在辦公、學習等領域有廣泛的應用，例如：(1)保護文檔中手寫的隱私信息；(2)作為預處理來提高OCR技術識別印刷字的精度；(3)還原文檔原始信息，用于如學生錯題收集以便重復練習、提取原始表格以便信息重新填寫、去除書籍圖像上的筆記或涂鴉等。對比手寫字擦除前后圖像，還可用于手寫字提取、手寫信息識別等。

實現手寫字擦除可分為兩個步驟：首先逐像素區分手寫字和印刷內容，然后填充手寫字區域像素，使其與背景融合。區分手寫字和印刷內容時，兩者紋理、灰度近似，傳統的邊緣檢測、顏色定位等定位手寫字的方法失效；填充手寫字區域時，現有的隨機采樣背景像素值進行填充的方法，無法在手寫字與印刷字重疊的情況下，完整還原印刷字。顯然，使用現有方法自動化地進行文檔圖像手寫字擦除的效果不盡人意，而若利用圖像編輯軟件對手寫字進行逐像素處理，需要消耗的人力成本過高。

發明內容

發明目的：本發明所要解決的技術問題是針對現有技術的不足，提供一種基于深度學習的手寫字擦除方法。

為了解決上述技術問題，本發明公開了一種基于深度學習的手寫字擦除方法，包括如下步驟：

步驟1，制作訓練樣本，包括含有手寫字和印刷內容的原始圖、手寫字和印刷內容逐像素分類的掩碼圖以及只含有印刷內容的目標圖；

步驟2，建立深度學習模型；

步驟3，將訓練樣本預處理后，送入深度學習模型進行訓練，訓練過程包括：輸入訓練樣本中的原始圖，輸出掩碼生成圖和目標生成圖；計算損失，優化模型參數；重復訓練直至模型收斂，得到訓練完成后的深度學習模型；

步驟4，獲取需要去除手寫字的文檔圖像；

步驟5，將需要去除手寫字的文檔圖像輸入訓練完成后的深度學習模型，得到去除手寫字后的圖像，完成基于深度學習的手寫字擦除。

本發明步驟1中所述制作訓練樣本的方法包括：

步驟1-1，準備含有手寫字和印刷內容的文檔，使用拍照設備或掃描設備獲取文檔圖像，得到原始圖；

步驟1-2，采用圖像編輯軟件對原始圖中的手寫字進行逐像素去除和填補，得到目標圖；

步驟1-3，采用算法程序對原始圖和目標圖進行計算，得到掩碼圖。

本發明步驟1-3中所述通過計算得到掩碼圖的方法包括：

對原始圖和目標圖作差，得到差異圖；

差異圖求絕對值后，對三通道的值取平均，得到差異灰度圖；

將差異灰度圖大于閾值的像素置為0，表示分類為手寫字，其他部分置為1，表示印刷內容，得到掩碼圖，所述掩碼圖為二值掩碼圖。

本發明步驟2中，所述深度學習模型為全卷積神經網絡，包括：掩碼生成模塊、第一階段圖像生成模塊以及第二階段圖像生成模塊。

本發明步驟2中所述深度學習模型的每個模塊均采用編碼器-解碼器的結構，其中，掩碼生成模塊與第一階段圖像生成模塊的編碼器共享參數。