[發明專利]一種基于目標檢測和文本識別的票據信息識別方法

在審

• 申請號: 202011428503.0
• 申請日: 2020-12-09
• 公開（公告）號: CN112364837A
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 楊懿齡;劉楚雄;肖欣庭;池明輝
• 申請（專利權）人: 四川長虹電器股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 四川省成都市天策商標專利事務所 51213
• 代理人: 陳藝文

本發明公開了一種基于目標檢測和文本識別的票據信息識別方法，包括步驟A，票據圖像收集及票據圖像集準備；步驟B，文本目標檢測；步驟C，文本目標裁剪；步驟D,文字目標識別；步驟E，票據文本信息整理及輸出。本發明的基于目標檢測和文本識別的票據信息識別方法，將有固定票面規格的票據圖像通過OLOv4目標檢測模型進行文本目標檢測，并進行文本目標裁剪、識別、整理、輸出，實現對票據進行特定信息的提取、識別，提高票據信息識別的準確性，并減少代碼的維護成本，提高票據信息的識別效率。

技術領域

本發明涉及人工智能深度學習、財務電子化技術領域，具體涉及一種基于目標檢測和文本識別的票據信息識別方法。

背景技術

在票據識別方面，隨著社會發展和經濟進步，票據的識別檢測工作量也逐步變大，智能化識別票據成為迫切的需求。在過去，票據上的各種關鍵字段信息全部由人工篩選識別，這種單一繁復的工作耗時巨大。隨著深度學習方法的進步，在票據識別領域一般采用卷積神經網絡模型的方法，例如一些基于深度學習神經網絡的文本檢測和文字識別。但是目前使用的此類方法都有一些缺陷，他們通常無法達到類似端到端的票據信息提取效果，經過文本檢測和文字識別后，無法將票據中的具體信息進行有效的區分和匹配，如對于經過文字識別后的文本信息，仍然需要人工來對字段進行分析。產生缺陷的技術原因是目前市場上缺乏可用于票據的高性能的端到端識別網絡，票面文本信息的復雜和密集使得其最終的識別效果不好，從而不得不增加人工干預的一步。

綜上，現有技術中仍然存在以下問題：對于有固定票面規格的發票，仍然需要對已識別出的文本進行字段信息的人工分析，工作量較大，且對于每一種不同票面的票據，人工進行后處理分析的方法都不同，當票據識別服務需要新增或修改，業務代碼將具有很大的維護成本。

發明內容

本發明的目的在于提供一種基于目標檢測和文本識別的票據信息識別方法，采用基于深度學習神經網絡的目標檢測和文本識別方法，來對票據進行特定的信息提取識別，解決現有對于有固定票面規格的發票識別解決方案中存在的代碼維護成本高，時間成本高的問題。

為實現上述目的，本發明采用的技術方案為一種基于目標檢測和文本識別的票據信息識別方法，包括：

步驟A，票據圖像收集及票據圖像集準備；對某一固定票面的票據圖像進行收集，剔除存在印刷信息嚴重錯位及不可用的票據圖像，作為票據圖像集；然后對票據中的字段分別進行數據標注；將數據集按9:1的比例劃分為訓練集和測試集，并對訓練集進行數據增強；

步驟B，文本目標檢測；利用訓練集的票據圖像對OLOv4目標檢測模型進行訓練；將待檢測的票據圖像導入訓練后的OLOv4目標檢測模型進行文本的檢測，檢測到票據圖像的文本目標字段，并將檢測結果按數據標注的標簽進行分類保存；

步驟C，文本目標裁剪；提取步驟B所檢測到的文本目標字段的邊框坐標信息，并以此對檢測后的票據圖像進行裁剪，得到檢測出的不同字段的票據字段文本圖像；

步驟D,文字目標識別；將步驟C所得到的票據字段文本圖像導入文本識別網絡CRNN進行文字識別，得到文本信息并將結果保存至步驟B的標簽相對應的數據中；

步驟E，票據文本信息整理及輸出；對文字識別后的文本信息進行整理，將整理后的文本信息與對應的標簽格式化輸出，完成對票據信息的提取識別。

進一步地，所述數據增強的方法，包括：步驟A100,利用傳統數字圖像處理方法，將劃分后的訓練集按照一定閾值進行隨機縮放、平移、旋轉和放射變換。

進一步地，所述數據增強的方法，還包括：步驟A200,利用隨機擦除方法，對利用傳統數字圖像處理方法處理前的訓練集票據圖像隨機擦除一個矩形區域。

進一步地，所述步驟E中，對文本信息進行整理的方法包括：對部分特定輸出格式的文本使用正則匹配的方式進行約束輸出；對非法格式輸出進行修正。