[發(fā)明專利]一種基于卷積神經(jīng)網(wǎng)絡的端到端的車牌識別方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201810103520.3
• 申請日: 2018-02-01
• 公開（公告）號: CN108268871A
• 公開（公告）日: 2018-07-10
• 發(fā)明（設(shè)計）人: 姚劍;曾啟飛;趙嬌;涂靜敏;李禮
• 申請（專利權(quán)）人: 武漢大學
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/62;G06N3/04
• 代理公司: 武漢科皓知識產(chǎn)權(quán)代理事務所(特殊普通合伙) 42222
• 代理人: 王琪

本發(fā)明涉及一種基于卷積神經(jīng)網(wǎng)絡的端到端的車牌識別方法和系統(tǒng)，包括步驟一，利用模擬算法獲得自然場景中相對真實的車牌圖像；步驟二，以步驟一的車牌圖像作為訓練樣本，利用VGG16的卷積架構(gòu)來提取訓練樣本的特征，基于第2、3、4個池化層得到的特征，使用7個全連接層分別預測7個車牌字符，訓練時間為10個周期，獲得訓練好的車牌識別模型；步驟三，將待識別的車牌圖像縮放到訓練圖像大小，并輸入到訓練好的車牌識別模型中，得到圖像中的車牌號碼。本發(fā)明通過大量的樣本訓練了端到端的車牌識別模型，不僅能識別這些場景下的車牌，而且避免了傳統(tǒng)方法由于字符分割效果不好導致的識別錯誤情況。

技術(shù)領(lǐng)域

本發(fā)明屬于模式識別與計算機視覺領(lǐng)域，尤其涉及車牌合成和端到端的車牌識別方法和系統(tǒng)。

背景技術(shù)

車牌識別技術(shù)是智能交通領(lǐng)域的重要研究課題之一，它被廣泛應用于道路交通監(jiān)測、高速公路自動收費系統(tǒng)、停車場管理系統(tǒng)等許多交通管理系統(tǒng)，因此更高效、魯棒的車牌識別技術(shù)成為了熱點研究課題。

在傳統(tǒng)方法中，車牌識別分為字符分割和字符識別兩個部分。字符分割常用的方法有垂直投影法、模板匹配法和連通域分析法。車牌字符識別常用的方法是模板匹配法和機器學習的方法。

垂直投影法的主要步驟是：圖像灰度化后進行圖像二值化，二值化圖像經(jīng)過噪聲過濾等處理得到質(zhì)量較好的二值化圖像，然后在車牌垂直方向統(tǒng)計二值化圖像列方向的像素值得到垂直投影圖，最后找到垂直投影圖中波谷區(qū)域，這些區(qū)域就是字符分割位置，在分割時去掉字符間的間隙，得到單個字符圖。垂直投影法在處理清晰圖像的時候，能達到很好的分割效果，但是在很多時候車牌圖像的質(zhì)量不好，分割效果會很差，比如灰塵污泥覆蓋、圖像模糊和對比度不明顯等，這些情況會導致字符粘連，采用這種方法無法實現(xiàn)分割。

為了克服垂直投影法的缺點，研究工作者提出了模板匹配法。模板匹配就是根據(jù)車牌字符的一些先驗知識，比如車牌字符的位置關(guān)系和字符大小，把車牌圖像中的區(qū)域與標準車牌模板中的區(qū)域一一進行匹配，這些信息將會用作后續(xù)的車牌字符驗證。與垂直投影法一樣，模板匹配也需要這一步，垂直投影法得到圖像的波谷位置，兩波谷之間的區(qū)域就是可能是字符的區(qū)域，通過前一步得到的驗證信息來剔除掉不合要求的區(qū)域，最終得到分割的字符。連通域分析法將車牌中所有的字符看一個整體的連通域，之后根據(jù)車牌的知識，過濾或者合并連通域。一般而言，數(shù)字和字母的分割相對容易，因此，可以先把車牌的后六個字符分割出來，最后再確定車牌中第一個字符的位置。

車牌字符識別常用的方法是模板匹配法，模板匹配的判斷變量是歐拉距離或者相關(guān)系數(shù)。模板匹配的方法魯棒性不強，如果圖像比較模糊無法得到正確的識別結(jié)果，模板匹配另外一個缺點就是速度慢。為了加快字符識別的速度和準確率，可以使用一些機器學習的方法進行字符識別，比如BP神經(jīng)網(wǎng)絡、支持向量機、聚類分析、貝葉斯分類器和徑向基神經(jīng)網(wǎng)絡等。其中SVM和BP神經(jīng)網(wǎng)絡識別效果較好，具有較強的泛化能力。機器學習的方法進行車牌字符識別，除了要設(shè)計分類器，還需要設(shè)計特征提取器，好的特征提取器是字符識別的關(guān)鍵，其中常用字符特征提取方法有這幾種：內(nèi)外輪廓法、小波變換法、偽zemike矩、投影法和網(wǎng)格法等。

在傳統(tǒng)場景下，車牌圖像成像質(zhì)量好，很容易分割車牌字符，但是在自然場景下由于拍攝時間、天氣、車牌污染和拍攝角度不同等原因，會導致車牌圖像出現(xiàn)欠曝光、過曝、模糊和車牌畸變等問題，傳統(tǒng)的方法很難正確識別車牌。同時，由于實際生活中車牌具有一定的隱私性，沒有大量公開的數(shù)據(jù)集。因此，本發(fā)明要解決的問題就是利用車牌合成和卷積神經(jīng)網(wǎng)絡技術(shù)，在自然場景下對車牌進行端到端的車牌識別。

發(fā)明內(nèi)容

為了解決上述技術(shù)問題，能快速、穩(wěn)定、準確地識別車牌，本發(fā)明使用深度學習的方法進行端到端的車牌識別，提高了自然場景下的車牌識別正確率和魯棒性，避免了字符分割效果不好帶來的問題，同時本發(fā)明使用模擬自然場景中的車牌成像的方法進行車牌圖像合成，為車牌識別訓練和測試提供了充足的樣本。

本發(fā)明所采用的技術(shù)方案是：一種基于卷積神經(jīng)網(wǎng)絡的端到端的車牌識別方法，包括如下步驟：