[發明專利]基于圖像字符區域感知的端到端文本檢測及識別方法

在審

• 申請號: 202011431114.3
• 申請日: 2020-12-07
• 公開（公告）號: CN112541491A
• 公開（公告）日: 2021-03-23
• 發明（設計）人: 杜權;劉興宇;徐萍
• 申請（專利權）人: 沈陽雅譯網絡技術有限公司
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06K9/32;G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 沈陽優普達知識產權代理事務所(特殊普通合伙) 21234
• 代理人: 李曉光

1.一種基于圖像字符區域感知的端到端文本檢測識別方法，其特征在于包括以下步驟：

1)數據準備：在兩種數據集上進行實驗，一種是包含單個字符包圍框標注的SynthText80k；另一種是真實場景數據集，包含ICDAR 2015，CTW1500；

2)在上述兩種數據集上進行特征提取和融合，得到語義更豐富特征；

3)將兩種數據集中圖像部分進行分割，找到圖像中文本的位置；

4)利用步驟3)中圖像中文本的位置，得到每一個字符位置對應的特征；

5)根據字符特征進行卷積識別，對每一個特征識別分類后，得到識別概率n表示每一個Text Box里面包含的字符的個數；

6)完成神經網絡端到端訓練策略，實現神經網絡弱監督學習的識別反饋。

2.根據權利要求1所述的基于圖像字符區域感知的端到端文本檢測識別方法，其特征在于：步驟2)中兩種數據集上進行特征提取和融合具體為：

步驟201)主干網絡backbone使用VGG16-BN網絡，分別輸入兩種數據集圖像，通過backbone的逐層卷積，得到中間層特征，與原圖相比步長分別為{4，8，16，32}，得到原始圖像二分之一大小的特征圖；

步驟202)將步驟201)得到的特征圖輸入到空間注意力模塊進行計算，計算公式見公式(1)，空間注意力由最大池化、平均池化和n*n卷積操作組成，得到的空間注意力結果和特征圖進行元素級相乘；

其中，σ表示sigmoid激活函數，F_nxn為3x3卷積層，表示通道連接操作，P_max為最大池化，P_avg為平均池化，A_sag(.)為空間注意力計算結果，X_i為第i層特征，最后經過注意力引導的特征可以計算如下：

其中表示元素級相乘，得到特征提取的最終特征圖為F。

3.根據權利要求1所述的基于圖像字符區域感知的端到端文本檢測識別方法，其特征在于：步驟3)將兩種數據集中圖像部分進行分割具體為：

301)利用步驟2)產生的特征圖F進行圖像分割，預測當前像素點的位置是文本的概率，生成兩個通道的特征圖，即表示每一個字符中心的預測的高斯熱圖region_score和表示幾個字符之間的聯系的關系圖link_score；

302)根據熱圖region_score，進行膨脹操作和腐蝕操作后，使用分水嶺算法得到每一個字符的包圍框Char Box，利用link_score將各個Char Box進行歸類，得到歸類到一個單詞或一行的包圍框Text Box，對k+1個屬于同一Text box的Char Box中心坐標(x₀,y₀),…,(x_k,y_k)利用插值公式(3)得到排列方式：

其中對多項式R求導，得到每一個位置字符Char Box的角度，根據得到的角度旋轉Char Box，得到最終每個擁有實際角度的Char Box，其中x為多項式未知數，x_i和x_j為k個Char Box中心坐標的兩個不同點的橫坐標。