[發明專利]文本識別模型訓練方法、文本識別方法、裝置及設備

有效

• 申請號: 202010156069.9
• 申請日: 2020-03-09
• 公開（公告）號: CN111401375B
• 公開（公告）日: 2022-12-30
• 發明（設計）人: 金宏運;楊現;陳浩
• 申請（專利權）人: 蘇寧云計算有限公司
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京市萬慧達律師事務所 11111
• 代理人: 張慧娟

本發明公開一種文本識別模型訓練方法、文本識別方法、裝置及設備，屬于圖像識別技術領域，文本識別模型訓練方法包括：獲取圖像樣本集，其中，圖像樣本集中的圖像樣本包括文本圖像及文本圖像關聯的文字標簽；對圖像樣本集進行樣本擴充，并將樣本擴充后的圖像樣本集劃分為訓練集、驗證集和測試集；根據訓練集和驗證集對文本識別模型進行迭代訓練，其中，文本識別模型是通過將CRNN網絡模型中原有的VGG網絡替換為SE?ResNet網絡，并與BiLSTM網絡層以及注意力機制層依次級聯而構建得到的；根據測試集對迭代訓練后的文本識別模型進行性能測試。本發明實施例能夠提高文本識別模型的特征提取能力，提升特征向量解碼效果，從而提高文本識別的準確度。

技術領域

本發明涉及圖像識別技術領域，尤其涉及一種文本識別模型訓練方法、文本識別方法、裝置及設備。

背景技術

文本識別任務要求通過一定的圖像處理來識別圖像中的文本內容。文本識別可應用于許多領域，如信件和包裹的分揀、稿件的編輯和校對、大量統計報表和卡片的匯總與分析、銀行支票的處理、商品發票的統計匯總、商品編碼的識別、商品倉庫的管理，以及文檔檢索，各類證件識別和財務票據處理的辦公自動化等。方便用戶快速錄入信息，提高各行各業的工作效率。

目前關于文本識別方法分兩大類，一類是基于傳統圖像處理，對字符進行分割，然后單獨分類識別，其中一般需要對圖像進行灰度化、二值化、閾值分割、歸一化、支持向量機(Support Vector Machine,SVM)分類來完成識別；另一類就是使用深度學習方式，進行不分割地端到端處理，目前效果較好且比較常用的算法模型是CRNN(ConvolutionalRecurrent Neural Network，卷積循環神經網絡)，該模型首先使用卷積神經網絡(Convolutional Neural Networks,CNN) 從輸入圖像中提取出特征序列，然后使用循環神經網絡(Recurrent Neural Networks,RNN)預測從卷積層獲取的特征序列的標簽分布，最后引入聯結主義時序分類(Connectionist temporal classification,CTC)把從循環層獲取的標簽分布通過去重、整合等操作轉換成最終的識別結果。

發明人在實施本發明的過程中發現，現有技術存在如下缺點：

基于傳統圖像處理方法往往需要人工針對性的設計一些特征，中間還要穿插一些規則對算法處理不當的地方進行修正，并且對于圖像背景復雜、干擾多，字符粘結嚴重的情況，傳統方法處理的效果不是很好。而基于CRNN的方法雖然利用深度學習的方式減少了人工干預，提升了文本識別的準確率和算法的穩定性，但由于原CRNN模型使用傳統的VGG網絡進行卷積提取特征序列和使用雙向LSTM結合CTC來處理不定長序列轉文字問題，所以對于更復雜多變的文字識別任務，會產生模型特征提取能力不強、有效編碼不足和長短期依賴問題，從而影響識別結果。

發明內容

為了解決上述背景技術中提到的至少一個問題，本發明提供了一種文本識別模型訓練方法、文本識別方法、裝置及設備。

本發明實施例提供的具體技術方案如下：

第一方面，提供了一種文本識別模型訓練方法，所述方法包括：

獲取圖像樣本集，其中，所述圖像樣本集中的圖像樣本包括文本圖像及所述文本圖像關聯的文字標簽；

對所述圖像樣本集進行樣本擴充，并將樣本擴充后的圖像樣本集劃分為訓練集、驗證集和測試集；

根據所述訓練集和所述驗證集對文本識別模型進行迭代訓練，其中，所述文本識別模型是通過將CRNN網絡模型中原有的VGG網絡替換為SE-ResNet 網絡，并與BiLSTM網絡層以及注意力機制層依次級聯而構建得到的；

根據所述測試集對迭代訓練后的文本識別模型進行性能測試。

進一步地，所述對所述圖像樣本集進行樣本擴充，包括：