[發明專利]一種基于解耦注意力機制的文本識別方法及系統

在審

• 申請號: 202010841738.6
• 申請日: 2020-08-20
• 公開（公告）號: CN111967470A
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 朱遠志;金連文;王天瑋;陳曉雪;羅燦杰
• 申請（專利權）人: 華南理工大學;華南理工大學珠海現代產業創新研究院
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/34;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京東方盛凡知識產權代理事務所(普通合伙) 11562
• 代理人: 張換君

本發明公開一種基于解耦注意力機制的文本識別方法及系統，主要包括特征編碼模塊、卷積對齊模塊和文本解碼模塊,特征編碼模塊基于深度卷積神經網絡從輸入圖像中提取視覺特征；卷積對齊模塊替代了傳統基于得分的遞歸式對齊模塊，從特征編碼模塊中提取多尺度視覺特征作為輸入，使用全卷積神經網絡逐通道的生成注意力圖；文本解碼模塊通過門控遞歸單元結合特征圖和注意力圖得到最終的預測結果,本發明實現簡單、識別精度高，具有有效性、靈活性和魯棒性，在場景文本識別和手寫文本識別等多種文本識別領域均具有杰出的性能，具有較好的實際應用價值。

技術領域

本發明屬于模式識別與人工智能技術領域，特別涉及一種與深度神經網絡相關的圖像精確識別方法。

背景技術

在近年來，文本識別吸引了大多數學者的研究興趣。得益于深度學習以及序列問題的研究，很多文本識別技術取得了顯著的成功。連接時間分類技術和注意力機制技術是兩種解決序列問題的流行方法，其中，注意力機制技術展示了更加突出的性能并且在近年來被廣泛的研究。

注意力機制技術最早在解決機器翻譯問題中被提出，并逐漸被用來處理場景文本識別問題。從那之后，注意力機制技術主導了文本識別領域中的一部分發展。文本識別中的注意力機制技術被用來對齊和識別字符。在之前的工作中，注意力機制技術的對齊操作總是和解碼操作結合在一起。具體而言，傳統注意力機制技術的對齊操作利用兩類信息來實現。其一是特征圖，它是由編碼器對圖像進行編碼得到的視覺信息；其二是歷史解碼信息，它可以是遞歸過程中的隱藏層狀態，或者是前一位解碼結果的嵌入向量。注意力機制技術背后的主要思想是匹配，即給定特征圖的一部分特征，它通過給這部分特征與歷史解碼信息的匹配程度進行打分，計算得到注意力分數。

傳統的注意力機制技術經常面臨嚴重的對齊問題，這是因為對齊操作和解碼操作結合在一起的關系不可避免的帶來錯誤的累積和傳播。以匹配為基礎的對齊操作十分容易受到解碼結果的影響，例如，當一個字符串中有兩段相似的子字符串時，通過歷史解碼信息容易讓注意力機制技術的關注點從一個子串跳到另一個子串上，這也是有文獻觀察到注意力機制技術很難對齊長序列的原因，因為越長的序列越容易出現相似的子串。因此，這鼓動我們尋找一種將對齊操作從歷史解碼信息中解耦出來，從而減緩這種負面的影響。

發明內容

本發明的目的提供一種基于解耦注意力機制的文本識別方法及系統，通過將傳統的注意力機制模塊解耦成了一個對齊模塊和一個文本解碼模塊，避免了解碼錯誤的積累和傳播，通過先對齊后識別的方式，解決了現有的對齊問題。

為實現上述目的，本發明提供了如下方案：

一種基于解耦注意力機制的文本識別方法，包括以下步驟：

S1、根據文本圖像進行圖像特征提取并進行編碼獲得特征圖；

S2、將所述特征圖進行對齊處理獲得目標圖像，構建深度卷積神經網絡模型，基于所述深度卷積神經網絡模型對所述目標圖像進行處理得注意力圖并進行訓練；

S3、基于所述深度卷積神經網絡識別模型對所述特征圖和所述注意力圖進行精確文字識別；

優選地，文本圖像為場景文本圖像和/或手寫文字圖像；

優選地，場景文本圖像和/或手寫文字圖像的特征為：

場景文本圖像特征包括場景文本訓練數據集和場景文本真實評測數據集，場景文本訓練數據集和場景文本真實評測數據集涵蓋多種不同字體風格、光影變化和分辨率變化；

手寫文本圖像特征包括手寫文本真實訓練數據集和手寫文本真實評測數據集，手寫文本真實訓練數據集和手寫文本真實評測數據集包含不同的書寫風格；

優選地，場景文本圖像訓練數據集文本部分完整且占據圖像面積的三分之二以上，包含多種不同字體風格，允許涵蓋光影變化及分辨率變化；