[發明專利]一種基于深度學習的自然場景古漢字識別方法及系統

在審

• 申請號: 202111432401.0
• 申請日: 2021-11-29
• 公開（公告）號: CN114120333A
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 易堯華;王新宇;王凱麗;陳婭婭;韋豪東;張云帆;蔣雯靜;鄧志豪;李家旺;彭雨萍;趙權超
• 申請（專利權）人: 武漢大學
• 主分類號: G06V30/148
• 分類號: G06V30/148;G06V20/62
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 魯力

本發明提供了一種基于深度學習的自然場景古漢字識別方法及系統。所述方法步驟為，首先構建自然場景古漢字檢測與識別數據集，分別用來訓練古漢字檢測與識別模型，然后檢測圖像中古漢字的位置，在進行圖像校正后識別字符內容。所述系統包括用戶終端和云端服務器，二者通信連接；所述用戶終端用于獲取用戶的控制指令，并根據所述控制指令從所述云端服務器調用數據；所述云端服務器包括古漢字檢測與識別模塊、圖像校正模塊、文字查詢模塊、結果反饋模塊以及數據存儲模塊。本方法和系統可以準確地識別自然場景圖像中的古漢字，可以輔助閱讀古漢字文獻和實現古漢字文獻的數字化，為古漢字相關的應用提供底層技術支持。

技術領域

本發明涉及古漢字識別領域，具體涉及一種基于深度學習的自然場景古漢字識別方法及系統。

背景技術

文字是信息的一種重要載體，漢字在幾千年前產生的那一刻，就擔負起了承載中華文化的重任，它與中華文化相伴而行，共同譜寫了中華文明的不朽篇章。目前，古漢字仍然經常出現在書畫，印章，對聯，牌匾等場景中，但只有少數掌握古漢字專業知識的專家或愛好者才能準確地讀懂這些古漢字。

由于古漢字在日常生活中很少出現，并且學習古漢字是一項費時費力的訓練和記憶過程，因此大多數人不具備古漢字識別能力。隨著機器學習和深度學習算法的不斷發展，計算機識別簡體漢字的準確率越來越高。然而，古漢字的檢測與識別相比簡體漢字有很大的難度，目前古漢字識別的研究剛剛起步，沒有完備的古漢字數據集，并且現有的古漢字識別應用只能從單個文本圖像中識別文本，缺乏應用價值。讓計算機檢測并識別自然場景圖像中所有的古漢字，可以輔助閱讀古漢字文獻和實現古漢字文獻的數字化，為古漢字相關的應用提供底層技術支持，具有廣闊的應用前景和發展空間。

有鑒于此，本方案提供了一種基于深度學習的自然場景古漢字識別方法及系統。

發明內容

為實現以上目的，本發明通過以下技術方案予以實現：

1.一種基于深度學習的自然場景古漢字識別方法，其特征在于，包括以下步驟：

S1：構建自然場景古漢字檢測數據集和自然場景古漢字識別數據集；

S2：采用自然場景古漢字檢測數據集訓練DBNet文本檢測模型，采用自然場景古漢字識別數據集訓練古漢字識別模型；

S3：將待檢測圖像輸入到訓練后的古漢字檢測模型中，輸出概率圖與自適應閾值圖，將兩張圖逐元素相減，差值圖經過可微的近似二值化激活函數f(x)＝1/(1+e^-kx)得到近似二值圖，在該圖中提取目標輪廓，并用旋轉矩形近似表示。輸出所有單個古漢字四邊形區域的四個點坐標；

S4：根據所述古漢字檢測結果，將古漢字圖像塊從原圖像中取出，用透視變換校正為正方形，獲取圖像校正結果。具體地，先用S3所述輸出的四個點坐標與預設邊長的正方形的四個點計算透視變換矩陣M的參數，公式如下：

然后基于透視變換矩陣將古漢字圖像塊的形狀校正為正方形，公式如下：

S5：將校正后的古漢字圖像塊輸入到訓練后的古漢字識別模型進行識別，輸出字符概率向量，經過softmax函數對文字識別結果歸一化后，選取其中概率最高的作為預測結果，最終得到該古漢字對應的簡體漢字。

2.根據權利要求1所述的基于深度學習的自然場景古漢字識別方法，其特征在于，所述S1中自然場景古漢字檢測數據集通過實地拍攝與網絡獲取，標簽為圖像中所有單個古漢字四邊形區域的四個點坐標。自然場景古漢字識別數據集包含真實場景圖像和由針對自然場景古漢字識別數據集的圖像合成方法得到的合成圖像，圖像合成方法包括以下步驟：

S6：獲取古漢字圖像；

S7：獲取自然場景紋理圖像；