[發明專利]一種基于深度學習的發票圖像目標檢測與角度檢測方法

有效

• 申請號: 202011379828.4
• 申請日: 2020-11-30
• 公開（公告）號: CN112347994B
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 池明輝;唐軍;肖欣庭;楊懿齡;唐永瑞
• 申請（專利權）人: 四川長虹電器股份有限公司
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/25;G06V30/10;G06V30/413;G06K9/62;G06N3/04
• 代理公司: 成都虹橋專利事務所(普通合伙) 51124
• 代理人: 陳立志

本發明涉及圖像處理技術領域，公開了一種基于深度學習的發票圖像目標檢測與角度檢測方法，用以發票識別任務中，前期發票分割、分類、角度檢測流程繁瑣、效率低下的問題。本發明采用發票實際標注數據進行模型訓練，利用訓練好的單一模型完成發票的分割、分類和角度檢測；其中，模型訓練包括：構建深度網絡模型，設置模型參數；加載訓練數據及驗證數據；從訓練集中取batch?size張發票圖片，對模型進行訓練，并利用SGD進行模型算法更新；完成訓練之后用驗證集驗證模型的精度，并保存訓練好的模型。本發明適用于發票圖像識別。

技術領域

本發明涉及圖像處理技術領域，特別涉及一種基于深度學習的發票圖像目標檢測與角度檢測方法。

背景技術

近幾年，AI技術的發展突飛猛進，其應用領域也越來越廣，如機器人、語音識別、圖像識別、計算機視覺、自動駕駛等領域。在圖像識別方面，基于深度學習的OCR識別以其識別精度高、識別速度快等優點被業界廣泛采用。隨著大數據、云計算等技術的發展，在財務報銷領域，OCR技術也成為了提取各種票據內容進行電子化管理和大數據挖掘的有利工具。眾所周知，財務報銷時一般是將待報銷票據粘貼到A4紙上，傳統的方法是由專業的財務人員進行A4掃描備案，然后手工錄入票據內容，這種處理方式枯燥乏味、費時費力，而且數據的準確度有限。為了解放基層財務人員，OCR技術被引進到財務報銷領域。針對該場景，一般通用的流程是：1)對A4紙票據進行發票分割；2)對分割后的發票進行圖像分類；3)對各個類別的分割圖像進行圖像旋轉校正；4)對校正后的圖像進行文字檢測；5)對檢測到的文本圖像進行OCR識別；6)將識別結果生成結構化數據。可以看到，整個流程還是比較繁瑣的，為了簡化該流程，本發明對圖像預處理階段進行優化，采用深度學習的方法將前三步融合成一個網絡，實際標注數據進行模型訓練，利用訓練好的單一模型進行發票的分割、分類、角度檢測。大大簡化了財務報銷領域發票識別的整體流程，同時將三個模型融合為一個模型也簡化了模型部署及維護的難度，節約了算力、提升了票據識別的預處理效率。

發明內容

本發明要解決的技術問題是：提供一種基于深度學習的發票圖像目標檢測與角度檢測方法，用以發票識別任務中，前期發票分割、分類、角度檢測流程繁瑣、效率低下的問題。

為解決上述問題，本發明采用的技術方案是：采用發票實際標注數據進行模型訓練，利用訓練好的單一模型完成發票的分割、分類和角度檢測；其中，其中，發票實際標注的數據包括：發票圖像上發票區域所在矩形框坐標、發票類別以及發票子區域旋轉角度。

進一步的，本發明中的模型訓練包括以下步驟：

S1：構建深度網絡模型，設置模型參數，其中模型參數包括網絡參數和訓練參數；

S2：加載訓練數據及驗證數據；

S3：判斷當前epoch是否小于總輪數Epoch，若是則轉步驟S4，若否則結束訓練；

S4：從訓練集中取batch-size張發票圖片，對模型進行訓練，并利用SGD進行模型算法更新；

S5：判斷訓練集中所有圖片是否均已完成訓練，若是，則轉步驟S6，若否則轉步驟S4；

S6：用驗證集驗證模型的精度，并保存訓練好的模型，轉步驟S3。

進一步的，模型訓練前，針對發票實際標注的數據的處理包括訓練數據標簽格式轉換及劃分；訓練數據標簽格式轉換時，將標注數據轉換成coco數據格式并在最終轉換后的coco標注文件中針對每個發票目標新增一個角度字段。

進一步的，本發明采用如下策略進行數據劃分：將訓練數據按照標注的發票圖像中發票類別進行歸類，若該發票圖像中有多個類別的發票，則統計發票圖像中各個類別發票的數量，若各個類別發票圖像數量一樣，則在對應類別票據集合中均加入該發票圖像，否則將該發票圖像加入數量較多的票據類別中。