[發明專利]一種零售終端文字識別方法及系統

在審

• 申請號: 202210630151.X
• 申請日: 2022-06-06
• 公開（公告）號: CN115035531A
• 公開（公告）日: 2022-09-09
• 發明（設計）人: 韋泰丞;祝麗麗;陳浩;白森;劉雁兵;朱皓然
• 申請（專利權）人: 廣西中煙工業有限責任公司
• 主分類號: G06V30/148
• 分類號: G06V30/148;G06V10/24;G06V10/80
• 代理公司: 北京三聚陽光知識產權代理有限公司 11250
• 代理人: 李紅團

本發明公開了一種零售終端文字識別方法及系統，首先獲取待識別的零售終端店招圖片和許可證圖片，對獲取的圖片進行文字檢測，輸出包含多個待識別文字字符的文字區域圖像，作為目標檢測圖像；構建基于語義關聯的文字識別模型并進行訓練，將目標檢測圖像輸入訓練好的文字識別模型中進行識別，輸出識別結果。本發明提供的基于視覺語義關聯的文字識別模型，對于圖像質量差、字體風格多樣的場景有著更高的準確率和更好的性能，應用于卷煙零售終端店招和專賣零售許可證文字識別場景，解決了卷煙零售終端實際場景中文字識別準確率低、人工審核工作量大的問題。

技術領域

本發明涉及文字識別技術領域，具體涉及一種零售終端文字識別方法及系統。

背景技術

隨著互聯網技術的發展以及具備拍照功能的移動終端的普及，各種終端所拍攝到自然場景的圖片往往包含一定的語義信息，因此自動檢測和識別圖片中的文字信息具有很廣泛的應用場景，例如店招識別，車牌識別，單據閱讀器等。光學字符識別OCR(opticalcharacter recognition)，場景文字識別STR(scene text recognition)技術，即從圖像中檢測與識別文字信息已成為計算機視覺、文檔分析等領域的熱點研究方向，得到了來自學術界與工業界的強烈關注。

在煙草行業，零售終端店招名稱以及煙草專賣零售許可證的文字信息是店鋪信息采集的重要內容。終端店招文字識別系統以及終端許可證文字識別系統均屬于文字識別系統，其主要由文字檢測和文字識別兩個基本部分組成。文字檢測技術用于定位富含文字的圖片中的文本區域，而文字識別是將檢測結果區域中的文字進行提取，轉化為語言信息，機器可讀的文字序列。該問題的難點在于其輸出結果是不固定長度的序列。而在一般的圖像識別分類問題中，輸出空間的維度是固定的，不定長的識別問題需要在精確識別的同時建立序列上下文之間的關系。

零售終端店招文字識別以及終端許可證識別分別屬于場景文本及文檔文本，如圖1所示。終端店招文字處于真實的復雜場景之中，具有目標尺度變化大，字體種類、風格多樣，背景較為復雜的主要特點。而許可證文字處于紙質文檔之中，此類圖片有圖像質量較低，文字不清晰，尺度小，文字密度較大的特點。

傳統的信息采集方式多以人工為主，耗時費力，并且容易出現差錯，現有的OCR技術也無法解決此復雜場景下的文字識別問題。

發明內容

因此，本發明實施例提供的一種零售終端文字識別方法及系統，克服現有技術對復雜場景的文字識別結果效率低及準確性差的問題。

為達到上述目的，本發明提供如下技術方案：

第一方面，本發明實施例提供一種零售終端文字識別方法，包括：

獲取待識別的零售終端店招圖片和許可證圖片，對獲取的圖片進行文字檢測，輸出包含多個待識別文字字符的文字區域圖像，作為目標檢測圖像；

構建基于語義關聯的文字識別模型并進行訓練，所述文字識別模型包括依次連接的主干網絡、并行注意力對齊模塊、全局語義關聯模塊以及視覺-語義跨模態融合模塊；所述主干網絡用于提取目標檢測圖像的通用視覺特征，并行注意力對齊模塊用于解碼通用視覺特征中的所有字符，得到解碼后的視覺識別特征，全局語義關聯模塊用于對得到的視覺識別特征利用語義上下建模，得到相應的語義特征，視覺-語義跨模態融合模塊用于將視覺識別特征以及語義特征進行融合，得到視覺語義融合特征；

將目標檢測圖像輸入訓練好的文字識別模型中進行識別，輸出識別結果。

在一實施例中，所述主干網絡包括卷積神經網絡和連接于卷積神經網絡之后的空間自注意力模塊，其中：

卷積神經網絡，用于提取目標檢測圖像的通用特征；

空間自注意力模塊，用于挖掘特征之間的關聯，最終得到目標檢測圖像的通用視覺特征G：