[發明專利]一種基于深度學習的自然場景古漢字識別方法及系統

在審

• 申請號: 202111432401.0
• 申請日: 2021-11-29
• 公開（公告）號: CN114120333A
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 易堯華;王新宇;王凱麗;陳婭婭;韋豪東;張云帆;蔣雯靜;鄧志豪;李家旺;彭雨萍;趙權超
• 申請（專利權）人: 武漢大學
• 主分類號: G06V30/148
• 分類號: G06V30/148;G06V20/62
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 魯力

1.一種基于深度學習的自然場景古漢字識別方法，其特征在于，包括以下步驟：

S1：構建自然場景古漢字檢測數據集和自然場景古漢字識別數據集；

S2：采用自然場景古漢字檢測數據集訓練DBNet文本檢測模型，采用自然場景古漢字識別數據集訓練古漢字識別模型；

S3：將待檢測圖像輸入到訓練后的古漢字檢測模型中，輸出概率圖與自適應閾值圖，將兩張圖逐元素相減，差值圖經過可微的近似二值化激活函數f(x)＝1/(1+e^-kx)得到近似二值圖，在該圖中提取目標輪廓，并用旋轉矩形近似表示；輸出所有單個古漢字四邊形區域的四個點坐標；

S4：根據所述古漢字檢測結果，將古漢字圖像塊從原圖像中取出，用透視變換校正為正方形，獲取圖像校正結果；具體是先用S3所述輸出的四個點坐標與預設邊長的正方形的四個點計算透視變換矩陣M的參數，公式如下：

然后基于透視變換矩陣將古漢字圖像塊的形狀校正為正方形，公式如下：

S5：將校正后的古漢字圖像塊輸入到訓練后的古漢字識別模型進行識別，輸出字符概率向量，經過softmax函數對文字識別結果歸一化后，選取其中概率最高的作為預測結果，最終得到該古漢字對應的簡體漢字。

2.根據權利要求1所述的基于深度學習的自然場景古漢字識別方法，其特征在于，所述S1中自然場景古漢字檢測數據集通過實地拍攝與網絡獲取，標簽為圖像中所有單個古漢字四邊形區域的四個點坐標；自然場景古漢字識別數據集包含真實場景圖像和由針對自然場景古漢字識別數據集的圖像合成方法得到的合成圖像，圖像合成方法包括以下步驟：

S6：獲取古漢字圖像；

S7：獲取自然場景紋理圖像；

S8：隨機地對所述古漢字圖像進行幾何和顏色變換，并且隨機地選擇所述自然場景紋理圖像作為背景，將他們疊加得到合成圖像，標簽為對應的簡體漢字；

真實場景圖像的獲取方式是：通過實地拍攝與網絡獲取。

3.根據權利要求1所述的基于深度學習的自然場景古漢字識別方法，其特征在于，所述S2古漢字識別模型為ResNet網絡結構，訓練使用的損失函數為交叉熵損失函數；古漢字檢測模型訓練使用的損失函數為交叉熵損失函數與L1損失函數的加權和。

4.根據權利要求3所述的針對自然場景古漢字識別數據集的圖像合成方法，其特征在于，所述S6中古漢字圖像只包含單個古漢字，字符為GB/T2312-1980國家標準收錄字符所對應的古漢字，書體形式包括篆書、隸書、草書、行書和楷書。

5.一種權利要求1所述的基于深度學習的自然場景古漢字識別方法的自然場景古漢字識別系統，系統包括用戶終端和云端服務器，二者通信連接；

所述用戶終端用于獲取用戶的控制指令，并根據所述控制指令從所述云端服務器調用數據；

所述云端服務器包括

古漢字檢測與識別模塊，利用基于深度學習的自然場景古漢字識別方法，并且根據用戶終端的圖像查詢信息，得到圖像中所有單個古漢字四邊形區域的坐標及其對應的簡體漢字；

文字查詢模塊，用于獲取用戶終端的單個簡體漢字查詢信息，從所述的數據存儲模塊中檢索所述單個簡體漢字的詳細信息，詳細信息包括拼音、筆畫數、部首、五筆、詳細解釋、反義詞、同義詞、英文翻譯、例句以及相應的古漢字書體圖像，書體圖像包括篆書、隸書、草書、行書和楷書圖像；

結果反饋模塊，用于獲取用戶終端的改進意見，改進意見包括用戶終端顯示界面、用戶終端功能設計和識別結果評價；

數據存儲模塊：存儲用戶終端的歷史查詢記錄，歷史查詢記錄包括用戶賬號、查詢日期、查詢地點、查詢內容以及查詢結果；供用戶終端查詢和刪除歷史查詢記錄；存儲用戶終端反饋的結果。

6.根據權利要求1所述的基于深度學習的古漢字識別系統，其特征在于，所述用戶終端為手機或PC。

7.根據權利要求1所述的基于深度學習的古漢字識別系統，其特征在于，所述用戶終端可以運行該系統的微信公眾號、微信小程序和APP。