[發明專利]一種基于目標檢測和文本識別的票據信息識別方法

在審

• 申請號: 202011428503.0
• 申請日: 2020-12-09
• 公開（公告）號: CN112364837A
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 楊懿齡;劉楚雄;肖欣庭;池明輝
• 申請（專利權）人: 四川長虹電器股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 四川省成都市天策商標專利事務所 51213
• 代理人: 陳藝文

1.一種基于目標檢測和文本識別的票據信息識別方法，其特征在于，包括：

步驟A，票據圖像收集及票據圖像集準備；對某一固定票面的票據圖像進行收集，剔除存在印刷信息嚴重錯位及不可用的票據圖像，作為票據圖像集；然后對票據中的字段分別進行數據標注；將數據集按9:1的比例劃分為訓練集和測試集，并對訓練集進行數據增強；

步驟B，文本目標檢測；利用訓練集的票據圖像對OLOv4目標檢測模型進行訓練；將待檢測的票據圖像導入訓練后的OLOv4目標檢測模型進行文本的檢測，檢測到票據圖像的文本目標字段，并將檢測結果按數據標注的標簽進行分類保存；

步驟C，文本目標裁剪；提取步驟B所檢測到的文本目標字段的邊框坐標信息，并以此對檢測后的票據圖像進行裁剪，得到檢測出的不同字段的票據字段文本圖像；

步驟D,文字目標識別；將步驟C所得到的票據字段文本圖像導入文本識別網絡CRNN進行文字識別，得到文本信息并將結果保存至步驟B的標簽相對應的數據中；

步驟E，票據文本信息整理及輸出；對文字識別后的文本信息進行整理，將整理后的文本信息與對應的標簽格式化輸出，完成對票據信息的提取識別。

2.根據權利要求1所述的票據信息識別方法，其特征在于，所述數據增強的方法，包括：步驟A100，利用傳統數字圖像處理方法，將劃分后的訓練集按照一定閾值進行隨機縮放、平移、旋轉和放射變換。

3.根據權利要求2所述的票據信息識別方法，其特征在于，所述數據增強的方法，還包括：步驟A200，利用隨機擦除方法，對利用傳統數字圖像處理方法處理前的訓練集票據圖像隨機擦除一個矩形區域。

4.根據權利要求1所述的票據信息識別方法，其特征在于，所述步驟E中，對文本信息進行整理的方法包括：對部分特定輸出格式的文本使用正則匹配的方式進行約束輸出；對非法格式輸出進行修正。