[發明專利]一種基于DPN與Faster RCNN的火車票圖像生成方法

在審

• 申請號: 202010098298.X
• 申請日: 2020-02-18
• 公開（公告）號: CN111339866A
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 安程治;李銳;金長新
• 申請（專利權）人: 濟南浪潮高新科技投資發展有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 劉淑風

1.一種基于DPN與Faster RCNN的火車票圖像生成方法，其特征在于，該方法的實現過程包括：

S1.采集含有火車票的原始圖像；

S2.標注出步驟S1所采集到原始圖像中的火車票，并保存成xml文件作為標簽使用；

S3.對步驟S1所獲得的原始圖像與步驟S2的標簽進行數據增強，在圖像增強的同時，其標簽也需要做相應的變換，以準確標注出變換后圖像中火車票的位置；

S4.在Keras深度學習框架的基礎下，搭建Faster RCNN深度學習網絡模型，將增強后的數據集隨機分為訓練集、驗證集與測試集，將訓練集輸送給Faster RCNN網絡，進行訓練；

S5.依據模型在驗證集與測試集上的表現情況，對Faster RCNN網絡的參數、優化器的超參數以及訓練批次、訓練步長、訓練輪次進行調優，獲得Faster RCNN在測試集上的表現最優模型；

S6.利用DPN網絡結構，訓練一個用于數據增強的模型，推動DPN不斷逼近真實火車票的情景，形成最佳的行動策略；

S7.使用已訓練完畢的DPN網絡生成火車票圖像。

2.根據權利要求1所述的一種基于DPN與Faster RCNN的火車票圖像生成方法，其特征在于，在步驟S6中DPN網絡是關于真實環境的模擬，具體操作內容如下：

以一張原始火車票作為“初始狀態”，以各種圖像變換方式作為“行為”；

在“初始狀態”的情況下DPN做出某種“行為”，以獲取“獎勵”，該獎勵是由Faster RCNN對做出“行為”后圖像中火車票位置預測值與實際標簽的差值來表示的；

重復該過程，鼓勵DPN對各種各樣的“行為”進行探索；

變換結果難以被Faster-RCNN識別的“行為”將獲得較少的獎勵，甚至負獎勵，變換結果具有較高識別率的“行為”將獲得正獎勵。

3.根據權利要求1或2所述的一種基于DPN與Faster RCNN的火車票圖像生成方法，其特征在于，在步驟S6中構建DPN網絡，以trial-and-error的方式，推動DPN不斷逼近真實火車票的情景，形成最佳的行動策略，實現獎勵的最大化。以前面幾步所訓練的Faster RCNN為評判標準，對DPN網絡進行。

4.根據權利要求1或2所述的一種基于DPN與Faster RCNN的火車票圖像生成方法，其特征在于，在步驟S1中通過相機拍攝、網絡爬蟲爬取方式，獲取含有火車票的原始圖像。

5.根據權利要求1或2所述的一種基于DPN與Faster RCNN的火車票圖像生成方法，其特征在于，步驟S1中含有火車票的原始圖像不小于200*200像素大小，圖像中的火車票允許有一定程度的模糊、彎折、缺損，但不能到人眼難以辨別的地步。

6.根據權利要求1或2所述的一種基于DPN與Faster RCNN的火車票圖像生成方法，其特征在于，在步驟S2中使用Github上的開源工具labelImg，將步驟S1所采集到原始圖像中的火車票標注出來，并以xml文件的形式保存，作為標簽使用。

7.根據權利要求1或2所述的一種基于DPN與Faster RCNN的火車票圖像生成方法，其特征在于，在步驟S3中數據增強的方式包括但不限于圖像的縮放、旋轉、平移、灰度化、二值化、噪聲混入、背景填充。

8.根據權利要求1或2所述的一種基于DPN與Faster RCNN的火車票圖像生成方法，其特征在于，在步驟S3中利用OpenCV計算機視覺庫，編寫腳本，對原始圖像進行數據增強。

9.根據權利要求1或2所述的一種基于DPN與Faster RCNN的火車票圖像生成方法，其特征在于，步驟S4中訓練集、驗證集與測試集，三個數據集的比例為60％，20％，20％，步驟S4中數據集可用于訓練基于CTPN、RNN的文字識別模型。

10.根據權利要求1或2所述的一種基于DPN與Faster RCNN的火車票圖像生成方法，其特征在于，在步驟S4中將訓練集以Mini-Batch的形式輸送給Faster RCNN網絡，進行訓練。