[發明專利]一種基于深度學習的含堆疊字符的車牌識別方法

有效

• 申請號: 201910870894.2
• 申請日: 2019-09-16
• 公開（公告）號: CN110717493B
• 公開（公告）日: 2022-04-01
• 發明（設計）人: 張三元;祁忠琪;涂凱;吳書楷
• 申請（專利權）人: 浙江大學
• 主分類號: G06V30/148
• 分類號: G06V30/148;G06V10/26;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

1.一種基于深度學習的含堆疊字符的車牌識別方法，其特征在于：該方法包括以下步驟：

1)拍攝采集獲取車牌中堆疊字符樣本圖片，每個堆疊字符樣本圖片均具有一個堆疊字符樣本號碼，根據字符字典將堆疊字符樣本號碼中的每個字符映射至對應的整型標識，并按照原字符順序連接即可得堆疊字符樣本標簽；

2)構建用于識別堆疊字符樣本圖片的堆疊字符識別網絡，使用步驟1)的堆疊字符樣本圖片和堆疊字符樣本標簽訓練堆疊字符識別網絡，完成訓練后保存堆疊字符識別網絡的權重參數，從而得到訓練后的堆疊字符識別網絡；

3)獲取車牌圖片，使用目標檢測方法檢測獲得車牌圖片中的單排字符和堆疊字符得到單排字符框和堆疊字符框及各自對應的識別結果和置信度；

4)使用非極大值抑制算法對步驟3)獲得的結果進行處理，以刪除其中的偽字符框或重疊字符框，得到最終真單排字符框和真堆疊字符框；

5)根據真堆疊字符框從原車牌圖片截取得到堆疊字符作為堆疊字符圖片，輸入步驟2)中構建的堆疊字符識別網絡得到堆疊字符識別結果；

6)對步驟5)中的堆疊字符識別結果后處理：若堆疊字符識別結果長度不為指定字符長度，則從上至下直接將分割步驟4)中的堆疊字符圖片分割為等高的指定字符長度個小字符圖片，并使用字符分類算法依次進行字符識別；

最終從上至下拼接所有分割的小字符圖片的識別結果作為重識別結果；

7)從左至右按序拼接真單排字符框和真堆疊字符框的重識別結果，即得到最終的含堆疊字符車牌的識別結果；

所述步驟2)中堆疊字符識別網絡如下：

2.1)堆疊字符識別網絡包括三個卷積層、兩個網絡分支、一個多重卷積模塊、最大外池化層、平均外池化層、合并層、維度壓縮層和維度轉置層；

輸入圖片依次經過第一卷積層、最大外池化層和多重卷積模塊后分別輸入到兩個網絡分支，并對將兩個網絡分支的輸出通過合并層在通道維度合并后，再依次經過第二卷積層、第三卷積層、一個平均外池化層后，輸入維度壓縮層壓縮第三個維度，最后通過維度轉置層將第一、二個維度轉置后得到最終的網絡輸出；

第一個所述的網絡分支包括依次連接的第一最大內池化層、多重卷積模塊、第二最大內池化層、第一Dropout層、可分離卷積殘差模塊和第二Dropout層；

第二個所述的網絡分支包括依次連接的第一內卷積層、第三最大內池化層、可分離卷積殘差模塊、第四個最大內池化層、可分離卷積殘差模塊、第五個最大內池化層、第三Dropout層、第六個最大內池化層和第四Dropout層；

所述的多重卷積模塊輸入特征圖，輸出通道數，多重卷積模塊包含兩個分支，第一個分支包括依次連接的前兩個卷積層、一個壓縮擴充模塊和后兩個卷積層，第二個分支僅包括一個卷積層，輸入的特征圖分別經過兩個分支后，將兩個分支的輸出連接到一個逐元素相加層進行按位求和，最后經過一個獨立的卷積層后輸出得到通道數；

所述的可分離卷積殘差模塊輸入特征圖，輸出通道數、高和寬的卷積步長；可分離卷積殘差模塊包括兩個分支，第一個分支包括依次連接的可分離卷積層、第一個批量歸一化層、卷積層和第二個批量歸一化層，第二個分支僅包括一個卷積層；輸入的特征圖分別經過兩個分支后，將兩個分支的輸出連接到一個合并層在通道維度上進行合并后輸出得到通道數、高和寬的卷積步長；

所述的壓縮擴充模塊輸入特征圖，輸入特征圖依次經過通道數獲取層、全局平均池化層、兩個卷積層后得到通道權重，再將通道權重和原輸入特征圖相乘獲得壓縮擴充模塊的輸出；

上述所有卷積層中，除壓縮擴充模塊內的第二個卷積層后使用sigmod作為激活函數，其余卷積層后均使用ReLU函數作為激活函數；

2.2)將步驟1)獲得的堆疊字符樣本圖片和對應的堆疊字符樣本標簽輸入堆疊字符識別網絡，使用Adam優化算法訓練堆疊字符識別網絡，直到深度學習分類網絡的誤差達到最小值并保持穩定，則保存此時不定長車牌號碼識別網絡中的權重參數數據，從而獲得訓練后的堆疊字符識別網絡；其中學習率初始值設置為0.001、衰減速度為3000步、衰減率為0.9的指數衰減法；損失函數采用CTC損失，訓練時Dropout層均采用0.5的節點保留率，批量歸一化層的均值和方差采用0.8的滑動平均系數。