[發明專利]一種字符識別模型訓練方法、裝置及系統

在審

• 申請號: 202110385919.7
• 申請日: 2021-04-09
• 公開（公告）號: CN113052176A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 王改
• 申請（專利權）人: 平安國際智慧城市科技股份有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強

本申請實施例適用于圖像處理領域中的OCR識別，公開了一種字符識別模型訓練方法、裝置及系統，該方法包括：對樣本圖像進行第一卷積特征的提取得到第一特征矩陣，第一特征矩陣指示用于區分字符像素和空白處像素的目標特征；根據第一特征矩陣識別字符像素和空白處像素；對像素進行特征加強處理得到第二特征矩陣，以使第一差異度小于第二差異度，第一差異度是第一特征矩陣所指示的字符像素和空白處像素各自的目標特征之間的差異度，第二差異度是第二特征矩陣所指示的字符像素和空白處像素各自的目標特征之間的差異度；根據第二特征矩陣確定字符預測結果；根據字符預測結果以及標注標簽，調節模型參數。本申請可以提高字符識別模型的泛化能力。

技術領域

本申請涉及機器學習領域，尤其涉及一種字符識別模型訓練方法、裝置及系統。

背景技術

OCR(optical character recognition，光學字符識別)技術可以把圖像中的字符進行識別，并以文本的形式返回，其在多種不同的場景都有著廣泛的應用，如證件識別場景、車牌識別場景、快遞地址識別填寫場景、票據識別場景等等。通常，光學字符識別技術可以包含兩個步驟，首先對圖像進行處理，獲取圖片信息，進而根據圖片信息輸出其中包含的字符。CRNN(convolution recurrent neural network，卷積循環神經網絡)就是一種可以進行光學字符識別的神經網絡，CRNN網絡包括卷積層、循環層和轉錄層，卷積層可以通過多個卷積核提取圖像的多種抽象特征，循環層可以對圖像的特征進行序列化學習，學習圖像中字符的上下文特征，并輸出針對圖片的預測結果，轉錄層可以將針對圖片的預測轉換為最終的標簽序列結果。目前這種CRNN網絡由于對圖像特征的提取等處理方式較為固定單一，字符識別的泛化能力不佳。

發明內容

本申請提供一種字符識別模型訓練方法、裝置及系統，通過本申請可以提高模型特征學習的有效性，從而提高字符識別模型的預測準確性和泛化能力。

本發明實施例第一方面提供了一種字符識別模型訓練方法，包括：

對樣本圖像進行第一卷積特征的提取，得到第一特征矩陣，所述第一特征矩陣指示用于區分所述樣本圖像中字符像素和空白處像素的目標特征；

根據所述第一特征矩陣識別所述樣本圖像中的字符像素和空白處像素；

對所述樣本圖像中的像素進行特征加強處理，得到第二特征矩陣，以使第一差異度小于第二差異度，所述第一差異度是所述第一特征矩陣所指示的所述樣本圖像中字符像素和空白處像素各自的所述目標特征之間的差異度，所述第二差異度是所述第二特征矩陣所指示的所述樣本圖像中字符像素和空白處像素各自的所述目標特征之間的差異度；

根據所述第二特征矩陣確定所述樣本圖像的字符預測結果；

根據所述樣本圖像的字符預測結果以及所述樣本圖像的標注標簽，調節所述字符識別模型的模型參數。

結合第一方面，在第一種可能的實現方式中，所述目標特征包括所述字符像素對應的第一特征狀態和所述空白處像素對應的第二特征狀態；

所述對所述樣本圖像中的像素進行特征加強處理包括：

針對所述字符像素的目標特征進行所述第一特征狀態的加強處理，和/或，針對所述空白處像素的目標特征進行所述第二特征狀態的加強處理。

結合第一方面，在第二種可能的實現方式中，所述樣本圖像的標注標簽包括所述樣本圖像中字符對應的字符標簽和所述樣本圖像中空白處對應的空白處標簽。

結合第一方面，在第三種可能的實現方式中，所述根據所述第二特征矩陣確定所述樣本圖像的字符預測結果包括：

對多個第一特征向量進行上下文特征融合，得到所述多個第一特征向量各自對應的第二特征向量，所述多個第一特征向量時候根據所述第二特征矩陣確定的；