[發明專利]一種基于MSAFF-Yolov3的車牌校正檢測識別方法

有效

• 申請號: 202110103233.4
• 申請日: 2021-01-26
• 公開（公告）號: CN113255659B
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 王堃;戴旺;劉耀輝
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06V30/146
• 分類號: G06V30/146;G06V30/148;G06V20/62;G06V10/82;G06V30/19;G06V10/80;G06N3/04
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 曹坤

本發明公開了一種基于MSAFF?Yolov3的車牌校正檢測識別方法。屬于深度學習和車牌識別領域，具體步驟：采集圖像，將圖像輸入到設計的自適應多尺度融合的MSAFF?Yolov3網絡；將輸入的車牌區域進行檢測，檢測其是否出現扭曲的情況；引入一個含有LSTM的BRNN網絡，對特征序列中的每個特征執行BLSTM處理，將整個特征序列轉換成一個數組；將CTC布置在BRNN的輸出層，將預測概率數組解碼成輸出標簽值，將數組轉換成字符串。本發明通過在特征提取中使用MSAFF?Yolov3網絡以及校正網絡同時在字符識別中引入長短時記憶網絡，有效的檢測識別復雜車牌，具有收斂快、識別迅速、準確率高的優點。

技術領域

本發明涉及深度學習和車牌識別領域，具體涉及一種基于MSAFF-Yolov3的車牌校正檢測識別方法。

背景技術

隨著機器學習的不斷發展，針對各種數據的不同網絡結構被相繼構造成深度結構來解決各種各樣的實際問題，例如，卷積神經網絡(Convolutional Neural Network，CNN)利用卷積結構模擬視覺神經中的感受區域，非常適合用來解決各種圖像處理問題；循環神經網絡(Recurrent Neural Network，RNN)加入了反饋連接，因此對時間序列數據具有很好的處理能力。耦合深度卷積網絡(Coupled Deep Convolutional Network，CDCN)是無監督變化檢測模型，不需要其他的先驗信息，通過優化目標函數對網絡參數進行訓練，得到不同圖像的對比信息。

一些與交通有關的應用，如檢測失竊車輛、收費控制和停車場進出驗證，都涉及車牌識別，受不同光照條件、可視角度、新舊程度及背景光亮等條件影響，不同場景中對于車牌的識別具有相對難度，因為對于非車牌區域的文字提出，車牌區域的正確切割、字符的孤立與識別等都是需要提升的技術空間，其中任何一項的斷層都會對整個車牌的識別過程造成困難。

并行處理和深度學習(DL)的最新進展有助于改善計算機視覺任務，如物體檢測/識別和光學字符識別(OCR)，這對于車牌識別系統的實現具有積極幫助。實際上，深度卷積神經網絡(CNNs)已經成為應用于車牌檢測的領先深度學習技術。

一般來說，車牌檢測可以分為三個步驟：牌照定位、牌照字符分割、牌照字符識別。牌照定位自然環境下，汽車圖像背景復雜、光照不均勻，如何在自然背景中準確地確定牌照區域是整個識別過程的關鍵。首先對采集到的視頻圖像進行大范圍相關搜索，找到符合汽車牌照特征的若干區域作為候選區，然后對這些侯選區域做進一步分析、評判，最后選定一個最佳的區域作為牌照區域，并將其從圖像中分離出來。牌照字符分割完成牌照區域的定位后，再將牌照區域分割成單個字符，然后進行識別。字符分割一般采用垂直投影法。由于字符在垂直方向上的投影必然在字符間或字符內的間隙處取得局部最小值的附近，并且這個位置應滿足牌照的字符書寫格式、字符、尺寸限制和一些其他條件。利用垂直投影法對復雜環境下的汽車圖像中的字符分割有較好的效果。牌照字符識別方法主要有基于模板匹配算法和基于人工神經網絡算法。基于模板匹配算法首先將分割后的字符二值化并將其尺寸大小縮放為字符數據庫中模板的大小，然后與所有的模板進行匹配，選擇最佳匹配作為結果。基于人工神經網絡的算法有兩種：一種是先對字符進行特征提取，然后用所獲得特征來訓練神經網絡分配器；另一種方法是直接把圖像輸入網絡，由網絡自動實現特征提取直至識別出結果。但是在多變的角度和場景(光線)下車牌往往是傾斜的，導致識別的效果并不如意。因此，如何設計一個識別算法和校正傾斜角度的車牌網絡使得整體系統識別率和準確率得到提高是很有必要的。

發明內容

針對上述問題，本發明提供了一種基于MSAFF-Yolov3的車牌校正檢測識別方法，其專注于無約束的場景，其中車牌圖像可能由于傾斜視角而存在嚴重的失真。本專利的主要貢獻是引入了一種新穎的自適應多尺度融合的Yolov3網絡(MSAFF-Yolov3)，該網絡能夠更加準確快速提取車牌特征圖，使得整個系統更加快速高效。檢測出車牌后又將扭曲的車牌送入校正網絡COD-NET將扭曲車牌校正為正常車牌大大提高了識別的準確率，這些校正過的車牌可以通過光學字符識別(OCR)方法以獲得最終結果。