[發明專利]一種基于動態時序卷積神經網絡的車牌識別方法

有效

• 申請號: 201810132849.2
• 申請日: 2018-02-09
• 公開（公告）號: CN108388896B
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 龐星
• 申請（專利權）人: 杭州雄邁集成電路技術股份有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 浙江納祺律師事務所 33257
• 代理人: 鄭滿玉

本發明提出一種基于動態時序卷積神經網絡的車牌識別方法，讀取原始車牌圖像；進行車牌角度矯正，獲得待確定識別的車牌圖像；輸入到預先設計和訓練的卷積神經網絡，獲得具備車牌所有特征的特征圖像和時序信息；進行字符識別，基于上一層的時序信息，將特征圖像輸入到長短期記憶神經網絡層的卷積神經網絡中，得到分類結果，利用CTC算法解碼得到最后的車牌字符結果。本發明通過使用卷積神經網絡直接從原圖識別視覺模式，自我學習與糾正，一次訓練，多次使用，且單次識別時間在毫秒級別，能夠應用在需要實時識別車牌的場景。動態時序的長短期記憶神經網絡層與CTC算法解碼相結合，有效規避漏檢，多檢等識別錯誤問題，提高算法魯棒性。

技術領域

本發明屬于計算機視覺、數字圖像處理和深度學習領域，具體涉及一種動態時序卷積神經網絡的車牌識別方法。

背景技術

車牌識別一直是現代智能交通系統中的研究熱點，過去使用較多的車牌識別方法一般為傳統的模板匹配和前向反饋神經網絡。模板匹配的方法如下:首先將分割后的車牌字符二值化，并將其尺寸大小縮放為字符數據庫中模板的大小，然后與所有的模板進行匹配，選擇最佳匹配作為結果。這種方法容易處理局部變換，但是應用局限，主要原因為：易受干擾噪聲影響。匹配計算量巨大，實時困難。前向反饋神經網絡算法較好的解決了車牌識別中因字符殘缺導致無法識別的問題。也可避免繁重的數學建模和數據分析工作，并可將信息存儲與處理并行，大幅提高運行速度，但是算法受限于前期特征提取，特征提取的質量是影響系統性能的關鍵因素。

其次，以往的方法無法應用于現在不同種類的車牌。卷積神經網絡應用到的長短期記憶神經網絡層中需要固定時序值，在識別不同類型的車牌時，導致缺失字符或重復已有字符，影響最后的識別結果，如識別學牌，武警牌和新能源車牌。

發明內容

針對現有技術的不足，提出一種基于動態時序卷積神經網絡的車牌識別方法，用以解決不同字符長度的車牌識別結果正確率低，識別結果錯誤的問題。本發明可兼容識別原有的中文車牌，同時也可以識別8個字符的新能源車牌。本發明不同于傳統車牌識別方法，可直接輸入原圖像，所需要的前期圖像預處理步驟較少，特征提取和模式分類同時進行，權值共享可以減少網絡的訓練參數，提高運行速度，適應性更強。

為了解決上述技術問題，本發明提供一種基于動態時序卷積神經網絡的車牌識別方法，包括以下步驟：

讀取原始車牌圖像；

進行圖像預處理，車牌角度矯正，獲得待確定識別的車牌圖像；

將上述車牌圖像輸入到預先設計和訓練好的卷積神經網絡中，獲得具備車牌所有特征的特征圖像和時序信息；

進行字符識別，將特征圖像和時序信息輸入到基于動態時序的長短期記憶神經網絡層中，得到分類結果，利用CTC算法解碼得到最后的車牌字符結果。

作為一種優選方式，所述的車牌角度矯正方法包括以下步驟：

步驟1)：通過canny算子提取車牌圖像的邊緣，分別統計水平方向上和垂直方向上邊緣點的個數，得到基于水平和垂直方向上的邊緣點投影直方圖；

步驟2)：根據邊緣點直方圖，確定車牌圖像中字符起始和結束位置，起始與結束位置的差值與車牌左右邊界點的差值求余弦，獲得車牌水平方向上的傾斜角度，從而在水平方向上矯正車牌，再做垂直方向上的矯正，獲得矯正完的車牌。

作為一種優選方式，所述的預先設計和訓練好的卷積神經網絡包括以下步驟：

步驟1)：構建基于動態時序的卷積神經網絡，卷積神經網絡設置為8層結構，包括1個輸入層、4個用于特征提取的卷積層、2個用于特征優化選取的池化層，1個長短期記憶神經網絡層；

步驟2)：初始化后，采用隨機梯度下降法對構建的卷積神經網絡進行迭代訓練，每迭代一次計算一次損失函數的值，以獲得卷積神經網絡結構中各權重值W和偏置值b的最優解，迭代多次后得到本次訓練的最優卷積神經網絡；