[發明專利]一種基于全局和局部注意力機制的文本識別方法

有效

• 申請號: 202111029998.4
• 申請日: 2021-09-03
• 公開（公告）號: CN113705713B
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 彭德智;金連文;謝燦宇;李鴻亮
• 申請（專利權）人: 華南理工大學;華南理工大學珠海現代產業創新研究院
• 主分類號: G06V30/19
• 分類號: G06V30/19;G06V30/18;G06V30/32;G06N3/0464;G06V10/82;G06N3/09
• 代理公司: 北京東方盛凡知識產權代理有限公司 11562
• 代理人: 李娜

本發明公開了一種基于全局和局部注意力機制的文本識別方法，具體包括如下步驟：使用合成數據以及公開的真實文本行作為訓練數據，使用真實場景下采集的文本行作為測試數據；對所有訓練和測試樣本進行數據預處理；采用有監督的方法訓練識別模型，每個文本行都有對應的文本信息；采用卷積層和自注意力層等結構設計識別網絡；將訓練數據和標簽輸入到識別網絡中進行訓練；輸入測試數據到訓練完成的網絡中，得到識別結果。本發明利用全局和局部注意力網絡實現文本行識別，能夠識別各種場景下復雜多樣的聯機和脫機文本，并在各個公開的數據集上達到了較高的準確率，具有極高的實用性和應用價值。

技術領域

本發明涉及模式識別與人工智能技術領域，特別是涉及一種基于全局和局部注意力機制的文本識別方法。

背景技術

隨著計算機技術的迅猛發展，人工智能技術也成為生產和生活中不可缺少的驅動力。近年來，深度學習技術的進步和相關硬件的發展，使得深度神經網絡的實際應用成為可能。

文本在日常生活中隨處可見，是信息傳遞的載體。人類從視覺中獲得的信息，大部分來自于文本。同時，文本也是人類文明和知識傳承的載體。因而，如何自動地從文本圖片或者聯機筆跡中識別出文本信息成為一項具有極大價值和意義的研究。但是，文本識別中存在很多難點。首先，復雜多樣的背景使得識別模型受到極大的干擾。其次，多種多樣的書寫風格和印刷體風格對識別模型的魯棒性提出了極大的挑戰。最后，字符種類較多(例如中文)和不同種類間的樣本數量不平衡問題增加了模型訓練的難度。設計一種高效準確的文本識別方法勢在必行。

隨著深度學習的興起，學者們已經提出了一些行之有效的文本識別方法。對于脫機文本行圖片，通常采用卷積神經網絡提取特征。在提取的特征的基礎上，采用循環神經網絡結合注意力機制或CTC解碼得到識別結果。對于聯機筆跡，通常采用轉為脫機特征或直接使用循環神經網絡處理。但是這些方法在建模全局關系和模型前向速度上存在弱點。

因此，亟需一種基于全局和局部注意力機制的文本識別方法來保證模型前向時的并行性成為現今需要解決的問題。

發明內容

本發明的目的是提供一種基于全局和局部注意力機制的文本識別方法，通過有效地、交替地建模全局和局部注意力來提取特征，同時保證了模型前向時的并行性，極大地提高了效率。

為實現上述目的，本發明提供一種基于全局和局部注意力機制的文本識別方法，包括以下步驟：

S1、將合成文本行和公開文本行作為訓練樣本；將真實場景下采集的文本行作為測試樣本；

S2、對所述訓練樣本和所述測試樣本進行預處理；

S3、基于預處理后的訓練樣本，確定訓練標簽；

S4、采用卷積層和自注意力層結構構建識別網絡；

S5、將預處理后的訓練樣本輸入到所述識別網絡中進行訓練，結合所述訓練標簽，并采用CTC損失進行網絡優化，得到訓練好的識別網絡；

S6、將預處理后的測試樣本輸入到所述訓練好的識別網絡中，輸出文本識別結果。

優選地，所述S2包括：

S2.1、在保持寬高比固定的情況下，將所述訓練樣本和所述測試樣本中的脫機文本圖片高度歸一化為128個像素，得到預處理后的圖片；

S2.2、將所述訓練樣本和所述測試樣本中的聯機文本的聯機筆跡旋轉為水平狀態，再對水平狀態的聯機筆跡進行特征提取，得到預處理后的筆跡特征。

優選地，所述S2.2包括：

S2.21、將所述聯機筆跡中的所有點通過線性回歸得到一條直線；

S2.22、計算直線的斜率，并通過所述斜率得到所述聯機筆跡的傾斜角度θ；