[發(fā)明專利]一種基于深度學(xué)習(xí)的含堆疊字符的車牌識別方法

有效

• 申請?zhí)枺?/td>: 201910870894.2
• 申請日: 2019-09-16
• 公開（公告）號: CN110717493B
• 公開（公告）日: 2022-04-01
• 發(fā)明（設(shè)計）人: 張三元;祁忠琪;涂凱;吳書楷
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: G06V30/148
• 分類號: G06V30/148;G06V10/26;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 林超

本發(fā)明公開了一種基于深度學(xué)習(xí)的包含堆疊字符的車牌識別方法。構(gòu)建堆疊字符識別網(wǎng)絡(luò)，使用堆疊字符樣本圖片和對應(yīng)堆疊字符樣本標(biāo)簽進(jìn)行訓(xùn)練；獲取車牌區(qū)域圖片，使用目標(biāo)檢測技術(shù)對車牌區(qū)域圖片進(jìn)行字符檢測；截取檢測到標(biāo)簽為堆疊字符的區(qū)域并送入堆疊字符識別網(wǎng)絡(luò)識別；對識別不為指定字符長度的結(jié)果進(jìn)行后處理；使用非極大值抑制刪除偽字符框得到真實字符框；從左至右拼接真實字符框的識別結(jié)果得到最終的車牌識別結(jié)果。本發(fā)明彌補(bǔ)了當(dāng)前車牌識別技術(shù)中對于包含堆疊字符車牌不支持的缺陷，并通過構(gòu)建的完整的車牌識別系統(tǒng)，對復(fù)雜車牌的識別具有極高的魯棒性，該發(fā)明對于車牌識別應(yīng)用具有極高的使用價值。

技術(shù)領(lǐng)域

本發(fā)明涉及車牌圖像識別領(lǐng)域，具體涉及一種基于深度學(xué)習(xí)的含堆疊字符的車牌識別方法。

背景技術(shù)

智慧交通技術(shù)給人們的出行不僅提供了極大的便利，也提高了安全保障，其中車牌識別作為構(gòu)建智慧交通、智慧城市的重要應(yīng)用，其在道路車輛跟蹤、高速自動收費(fèi)、交通執(zhí)法協(xié)助、停車場無人看守等領(lǐng)域均起到了重要作用。當(dāng)前的車牌識別應(yīng)用對僅含有單行字符的車牌已經(jīng)具有了較高的識別精度，卻無法支持更加復(fù)雜和特殊的車牌，其中尤其為具有堆疊字符的車牌大都不被當(dāng)前的車牌識別技術(shù)所支持。因此作出更加通用性的車牌識別應(yīng)用是當(dāng)前車牌識別領(lǐng)域的關(guān)鍵問題。

發(fā)明內(nèi)容

為了解決背景技術(shù)中的問題，本發(fā)明提供了一種基于深度學(xué)習(xí)的含堆疊字符的車牌識別方法，該方法不僅支持一般僅包含單行字符的車牌，同時對于具有堆疊字符的車牌也具有極高的魯棒性。

本發(fā)明所采用的技術(shù)方案包括如下步驟：

1)拍攝采集獲取車牌中堆疊字符樣本圖片，每個堆疊字符樣本圖片均具有一個堆疊字符樣本號碼，根據(jù)字符字典將堆疊字符樣本號碼中的每個字符映射至對應(yīng)的整型標(biāo)識，并按照原字符順序連接即可得堆疊字符樣本標(biāo)簽；

2)構(gòu)建用于識別堆疊字符樣本圖片的堆疊字符識別網(wǎng)絡(luò)，使用步驟1)的堆疊字符樣本圖片和堆疊字符樣本標(biāo)簽訓(xùn)練堆疊字符識別網(wǎng)絡(luò)，完成訓(xùn)練后保存堆疊字符識別網(wǎng)絡(luò)的權(quán)重參數(shù)，從而得到訓(xùn)練后的堆疊字符識別網(wǎng)絡(luò)；

3)獲取車牌圖片，使用目標(biāo)檢測方法(MobileNet-SSD或Cascade)檢測獲得車牌圖片中的單排字符和堆疊字符得到單排字符框和堆疊字符框及各自對應(yīng)的識別結(jié)果和置信度；

單排字符是上下僅有一排的字符，堆疊字符是上下有至少兩排的字符，如圖7中的上下LG字符構(gòu)成了堆疊字符。

4)使用非極大值抑制算法對步驟3)獲得的結(jié)果進(jìn)行處理，以刪除其中的偽字符框或重疊字符框，得到最終真單排字符框和真堆疊字符框；偽字符框為實際不包含字符在內(nèi)的字符框，重疊字符框指與其他字符框具有較大的重疊比例且置信度相對較小的字符框。

5)根據(jù)真堆疊字符框從原車牌圖片截取得到堆疊字符作為堆疊字符圖片，輸入步驟2)中構(gòu)建的堆疊字符識別網(wǎng)絡(luò)得到堆疊字符識別結(jié)果；

6)對步驟5)中的堆疊字符識別結(jié)果后處理：若堆疊字符識別結(jié)果長度不為指定字符長度，則從上至下直接將分割步驟4)中的堆疊字符圖片分割為等高的指定字符長度個小字符圖片，并使用字符分類算法依次進(jìn)行字符識別；

最終從上至下拼接所有分割的小字符圖片的識別結(jié)果作為重識別結(jié)果；

7)從左至右按序拼接真單排字符框和真堆疊字符框的重識別結(jié)果，即得到最終的含堆疊字符車牌的識別結(jié)果。

所述步驟1)中，堆疊字符樣本圖片中在豎直方向包含兩個或兩個以上字符，從上至下依次根據(jù)字符字典將每個字符映射至一個整型標(biāo)識，并依次連接整型標(biāo)識得堆疊字符樣本標(biāo)簽；其中字符字典為37個字符與整型標(biāo)識的映射關(guān)系，37個字符為10個阿拉伯?dāng)?shù)字和26個大寫字母，一個空白類，整型標(biāo)識為0到36的整數(shù)標(biāo)簽。其中空白類用于代表非字符類。

所述步驟2)中堆疊字符識別網(wǎng)絡(luò)如下：