[發明專利]一種基于解耦注意力機制的文本識別方法及系統

在審

• 申請號: 202010841738.6
• 申請日: 2020-08-20
• 公開（公告）號: CN111967470A
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 朱遠志;金連文;王天瑋;陳曉雪;羅燦杰
• 申請（專利權）人: 華南理工大學;華南理工大學珠海現代產業創新研究院
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/34;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京東方盛凡知識產權代理事務所(普通合伙) 11562
• 代理人: 張換君

1.一種基于解耦注意力機制的文本識別方法，其特征在于，包括以下步驟：

S1、根據文本圖像進行圖像特征提取并進行編碼獲得特征圖；

S2、將所述特征圖進行對齊處理獲得目標圖像，構建深度卷積神經網絡模型，基于所述深度卷積神經網絡模型對所述目標圖像進行處理得注意力圖并進行訓練；

S3、基于所述深度卷積神經網絡識別模型對所述特征圖和所述注意力圖進行精確文字識別。

2.根據權利要求1所述一種基于解耦注意力機制的文本識別方法，其特征在于：

所述文本圖像為場景文本圖像和/或手寫文字圖像；

所述場景文本圖像和/或手寫文字圖像的特征為：

所述場景文本圖像特征包括場景文本訓練數據集和場景文本真實評測數據集，所述場景文本訓練數據集和場景文本真實評測數據集涵蓋多種不同字體風格、光影變化和分辨率變化；

所述手寫文本圖像特征包括手寫文本真實訓練數據集和手寫文本真實評測數據集，所述手寫文本真實訓練數據集和手寫文本真實評測數據集包含不同的書寫風格。

3.根據權利要求2所述一種基于解耦注意力機制的文本識別方法，其特征在于：

所述場景文本訓練數據集中，文本部分完整且占據圖像面積的三分之二以上，包含多種不同字體風格，允許涵蓋光影變化及分辨率變化；

所述場景文本真實評測數據集由手機、專用硬件攝像設備拍攝得到，拍攝過程中，規范化后的所述場景文本圖像中的文本應占據圖像面積的三分之二以上，允許存在傾斜、模糊，所拍攝的所述場景文本圖像應涵蓋多種不同字體風格的應用場景；

所述手寫文本真實訓練數據集和所述手寫文本真實評測數據集，分別由不同人書寫并被采集下來，訓練數據和評測數據間具有獨立性。

4.根據權利要求2所述一種基于解耦注意力機制的文本識別方法，其特征在于：

所述文本圖像對齊處理方法為：

對所述場景文本訓練數據集和所述場景文本真實評測數據集圖像數據進行拉伸變換到統一大小；

對所述手寫文本真實訓練數據集和所述手寫文本真實評測數據集進行保持原圖比例的放縮，再對周圍進行填充直至統一大小。

5.根據權利要求1所述一種基于解耦注意力機制的文本識別方法，其特征在于：

所述S2中，所述深度卷積神經網絡構建方法為：

基于所述特征編碼提取多尺度視覺特征；

通過全卷積神經網絡進行卷積與反卷積，構建所述深度卷積神經網絡模型；

所述反卷積階段，每個所述輸出特征都由所述卷積階段的對應特征映射相加；

所述卷積過程為下采樣，所述反卷積過程為上采樣，除最后一個所述反卷積過程，所有所述卷積和所述反卷積過程結束后均會接一個非線性層，使用的是ReLu函數；

所述深度卷積神經網絡模型的網絡結構為輸入層、卷積層、殘差層；

所述殘差層分為第一卷積層、第一批標準化層、第一非線性層、第二卷積層、第二批標準化層、下采樣層、第二非線性層。

6.根據權利要求1所述一種基于解耦注意力機制的文本識別方法，其特征在于：

所述S2中所述深度卷積神經網絡模型訓練中采用反向傳播算法，通過從最后一層計算傳遞梯度，逐層傳遞，更新網絡模型的所有參數；

所述深度卷積神經網絡模型訓練策略采用監督方式：利用文本圖像數據和相應的標注信息，訓練一個通用的所述深度網絡識別模型；

所述深度卷積神經網絡模型的輸入圖像為所述手寫文本圖像和/或所述場景文本圖像，輸出為所述文本圖像和/或所述場景文本圖像中的字符序列。

7.根據權利要求6所述一種基于解耦注意力機制的文本識別方法，其特征在于：

所述深度卷積神經網絡模型訓練的參數設定為：

所述深度卷積神經網絡迭代次數為1,000,000；

所述深度卷積神經網絡優化器為Adadelta；

所述深度卷積神經網絡學習率為1.0；

所述深度卷積神經網絡學習率更新策略：分別在總迭代次數的50％和75％時，減小為原來的十分之一。