[發明專利]一種基于深度學習的端到端車牌識別系統及其方法

有效

• 申請號: 201910496601.9
• 申請日: 2019-06-10
• 公開（公告）號: CN110378331B
• 公開（公告）日: 2022-10-04
• 發明（設計）人: 史建偉;章韻
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06V20/62
• 分類號: G06V20/62;G06V30/148;G06V30/19;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 南京蘇科專利代理有限責任公司 32102
• 代理人: 陳棟智

1.一種基于深度學習的端到端車牌識別系統，其特征在于，包括車牌定位模塊，車牌識別模塊；

所述的車牌定位模塊，位于系統的數據入口，利用YOLOv3對原始含有車輛的圖像進行初步的多尺度檢測，獲取目標車牌的Anchor Box和相應的坐標參數，再將目標區域的內容以矩陣的形式傳至識別網絡；信息車牌定位包括以下步驟：

步驟1：利用爬蟲技術從互聯網，或部分開源數據集中獲取訓練數據DataSet；

步驟2：使用開源數據標注工具對原始訓練數據進行人工標注，生成相應的數據標記文件；

步驟3：利用python腳本將數據標記文件生成相應的txt標簽和list文件；

步驟4：擴展YOLOv3的多尺度檢測功能，提升其對小物體的定位準確率，并修改其對應的cfg文件中的網絡參數；

步驟5：調整YOLOv3相關的配置文件中的參數，初始化所有的數據路徑，在cfg文件中開啟網絡的訓練模式；

步驟6：隨著迭代次數的增加，在網絡收斂，各項參數穩定的時候停止訓練，獲取檢測網絡的模型權重；

步驟7：修改darknet.py文件，在其原本的基礎上增加新功能，用以獲取檢測網絡的參數計算量Bflops和幀率Fps，并設置相應配置文件和模型權重的路徑；

步驟8：獲取車牌定位的準確率，檢測速度，Anchor Box角點坐標，并將其傳至識別網絡；

所述的車牌識別模塊，在對輸入數據進行統一標準的格式化后，以檢測網絡返回的相關數據為基礎，利用BGRU+CTC的聯合方案對獲取的目標車牌中的文本信息進行識別，最終輸出車牌定位的準確率，Anchor Box角點坐標，車牌識別準確率，目標圖像大小，系統識別時間；車牌識別包括以下步驟：

步驟1：利用訓練好的YOLOv3對原始訓練集DataSet進行檢測，并將獲取的目標車牌圖像裁剪并保存至指定文件夾；

步驟2：對裁剪好的車牌圖像數據集進行人工數據標注，生成數據集，按照9:1的比例分割新數據集，生成對應的訓練集和驗證集，并編寫python腳本生成對應標簽文件trainLabel.txt和vaidLabel.txt；

步驟3：以BGRU+CTC的聯合方案構建車牌識別模型；

步驟4：將數據進行預處理操作后，根據識別模型入口參數對數據進行格式化；

步驟5：調整模型訓練的參數，修改模型存儲路徑，并設置批次間隔動態保存模型；

步驟6：待網絡模型收斂時，停止訓練，獲取識別模型的權重文件；

步驟7：修改識別網絡模型輸入接口，與檢測網絡的輸出接口進行匹配，融合檢測，識別兩個模塊；

步驟8：利用開源數據集Open-ITS測試識別系統性能，輸出車牌定位的準確率，AnchorBox角點坐標，車牌識別準確率，目標圖像大小，系統識別時間信息。