[發明專利]一種基于端到端自適應的垂直粘連字符的識別方法

有效

• 申請號: 202010210522.X
• 申請日: 2020-03-24
• 公開（公告）號: CN111401354B
• 公開（公告）日: 2023-07-11
• 發明（設計）人: 田博帆
• 申請（專利權）人: 南京紅松信息技術有限公司
• 主分類號: G06V30/14
• 分類號: G06V30/14;G06V30/148;G06V30/18;G06N3/0464;G06V10/82;G06N3/08
• 代理公司: 南京正聯知識產權代理有限公司 32243
• 代理人: 顧伯興

1.一種基于端到端自適應的垂直粘連字符的識別方法，其特征在于，具體包括以下步驟：

(1)字符定位：通過手印分離對圖片的答案區字符進行連通域定位，得到所述圖片的答案區內的每個字符的定位坐標；

(2)字符篩選：根據所述步驟(1)得到的所述定位坐標與所述答案區的文本行的高度作比較，判斷并篩選出垂直方向包含有至少兩個字符的坐標框，并截取待選擇的包含粘連字符的答案圖片；

(3)大小轉換：將截取到的待選擇的包含粘連字符的答案圖片作大小統一處理，將所述包含粘連字符的答案圖片的大小轉換為一致；

(4)特征提取：采用卷積神經網絡CNN，按縱坐標Y軸方向從上往下依次提取得到粘連字符的縱向特征圖，并將所述縱向特征圖進行序列化得到時序關聯特征序列；

(5)字符識別：將所述步驟(4)得到的粘連字符的所述時序關聯特征序列，記作：X_i＝{x₁,x₂,x₃,…,x_i-1,x_i}(i≤n)，輸送至softmax層中作多字符的計算分類并根據最大的概率輸出其結果，最終完成垂直粘連字符的識別；

所述步驟(4)中的卷積神經網絡CNN的網絡架構包括ResNet網絡架構或DensNet網絡架構；所述卷積神經網絡CNN采用的網絡架構分成多層，卷積核大小設置為3*3；

所述步驟(4)特征提取具體步驟為：

S41選取卷積神經網絡CNN的網絡架構；

S42通過網絡架構按縱坐標Y軸方向從上往下依次提取得到粘連字符的縱向特征圖；

S43將所述時序關聯特征的序列輸入至雙向的BiLSTM中學習所述時序關聯特征，獲得時序關聯特征序列；

所述步驟(5)中的softmax的概率計算公式為：

其中S_i表示字符的概率輸出，輸出映射范圍限定在0-1的范圍內；X_i，X_j為時序關聯特征序列；

所述步驟(1)中對所述字符進行連通域定位，所述連通域定位具體的步驟為：首先，按行和列遍歷圖片中第一個有像素值的點P(x,y)，并賦予其一個label，然后將與像素點相鄰的前景像素都壓入棧中；其次，彈出棧頂的像素，賦予所述棧頂的像素與所述第一個有像素值相同的label，然后再將與所述棧頂的像素相鄰的前景像素都壓入所述棧中，重復此步驟，直至所述棧為空，得到了圖片中的某一個連通區域；最后，再重復上述步驟，完成整張圖片的遍歷，最終得到所有字符的連通區域，從而得到對所述圖片的答案區內的每個字符的定位坐標。

2.根據權利要求1所述的基于端到端自適應的垂直粘連字符的識別方法，其特征在于，所述步驟(3)中作大小統一處理的條件是：若所述包含粘連字符的答案圖片的高度大于128dpi則保持原有高度，防止壓縮后字體變小或變形，將寬度統一設置為32dpi；若所述包含粘連字符的答案圖片的高度小于128dpi，則添加白邊使所述包含粘連字符的答案圖片的高度擴充至128dpi大小，將寬度統一設置為32dpi。