[發明專利]一種端到端的輕量級深度車牌識別方法

有效

• 申請號: 202010149501.1
• 申請日: 2020-03-06
• 公開（公告）號: CN111401361B
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 茅耀斌;張偉;張浩;韓翊;項文波;曹倩倩;卓一
• 申請（專利權）人: 南京理工大學
• 主分類號: G06V10/20
• 分類號: G06V10/20;G06V10/44;G06V10/774;G06V10/80;G06V10/82;G06N3/04
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 馬魯晉

本發明公開了一種端到端的輕量級深度車牌識別方法，屬于圖像處理及深度學習領域。該方法包括：采集包含車牌的圖像，構建車牌數據集；構建車牌檢測網絡；獲取車牌區域圖像；構建車牌識別網絡；將車牌檢測網絡和車牌識別網絡視為整體，對該整體網絡進行端到端訓練；利用訓練后的網絡識別待檢測車牌圖像中的車牌。本發明提出對模型進行端到端的訓練，并通過輕量級卷積神經網絡減少車牌識別過程的計算量和時間，具有對待識別圖像拍攝角度要求低、車牌定位準確、車牌字符識別準確率高、識別速度快等優點。

技術領域

本發明屬于圖像處理技術與深度學習領域，具體涉及目標識別領域，特別涉及一種端到端的輕量級深度車牌識別方法。

背景技術

隨著科技的快速進步，車輛作為交通工具已經得到了普及。但是也為車輛的管理帶來了挑戰，在諸多停車場所和社會安防系統中，都需要進行車牌識別。同時，隨著計算機視覺領域的發展，車輛識別帶來的人力需求正逐漸被機器取代。

一般車牌識別過程包括車牌定位、車牌矯正、字符分割、字符識別四個步驟。這些步驟通常通過多個深度學習模型實現，例如，車牌定位過程一般通過特征提取模型進行車牌檢測；車牌內容識別過程通常根據特征圖進行字符分割及字符識別。

在上述車牌識別過程中，由于多個深度學習模型是單獨存在的，且深度學習模型通常具有較大的參數量和計算量，在通過多個深度學習模型進行運算時，會出現大量的計算。本發明提出對模型進行端到端的訓練，并通過輕量級卷積神經網絡減少車牌識別過程的計算量和時間。

發明內容

本發明的目的在于提供一種提高車牌檢測效率和檢測精度的車牌識別方法。

實現本發明目的的技術解決方案為：一種端到端的輕量級深度車牌識別方法，所述方法包括以下步驟：

步驟1，采集包含車牌的圖像，構建車牌數據集；

步驟2，構建車牌檢測網絡；

步驟3，獲取車牌區域圖像；

步驟4，構建車牌識別網絡；

步驟5，將車牌檢測網絡和車牌識別網絡視為整體，對該整體網絡進行端到端訓練；

步驟6，利用訓練后的網絡識別待檢測車牌圖像中的車牌。

進一步地，步驟2所述構建車牌檢測網絡，具體包括：

步驟2-1，構建第一特征提取模塊，利用該模塊提取車牌數據的特征，生成n個不同尺寸的特征圖；

步驟2-2，構建第一特征融合模塊，利用該模塊實現統一步驟2-1所有特征圖的尺寸，對統一尺寸后的所有特征圖進行求和，并利用全局上下文增強模塊進行全局信息增強，獲得第一復合特征圖；

步驟2-3，構建第一解碼模塊，利用該模塊對所述第一復合特征圖進行解碼，解碼后輸出的特征圖通道數為車牌檢測所需的信息長度；其中所述所需的信息包括：車牌角點的坐標與置信度。

進一步地，步驟3所述獲取車牌區域圖像，具體包括：

步驟3-1，將車牌數據集中圖像的尺寸統一放縮至M×M；

步驟3-2，進一步將圖像尺寸放縮至N×N，N×N為車牌檢測網絡的輸入尺寸，其中，N＜M；

步驟3-3，將車牌檢測網絡輸出的角點坐標投影至步驟3-1中尺寸為M×M的圖像中，取出相應的車牌區域圖像；

步驟3-4，對所述車牌區域圖像進行幾何透視矯正。

進一步地，步驟4所述構建車牌識別網絡，具體包括：

步驟4-1，構建第二特征提取模塊，利用該模塊提取步驟3獲得的車牌區域圖像的特征，生成n個不同尺寸的特征圖；