[發明專利]基于深度學習的車牌檢測與識別方法和裝置

在審

• 申請號: 201810600935.1
• 申請日: 2018-06-12
• 公開（公告）號: CN108830213A
• 公開（公告）日: 2018-11-16
• 發明（設計）人: 王耀威;李詩文;田永鴻;鄒逸雄;曾煒
• 申請（專利權）人: 北京理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 北京市商泰律師事務所 11255
• 代理人: 黃曉軍

1.一種基于深度學習的車牌檢測與識別方法，其特征在于，包括：

使用作為訓練數據的車牌圖片，訓練用于車牌檢測的卷積神經網絡，得到車牌檢測模型；使用作為訓練數據的車牌圖片，訓練由卷積神經網絡和循環神經網絡組成的序列識別模型，得到車牌序列識別模型；

使用所述車牌檢測模型對于待檢測的車輛圖片進行檢測，得到車牌圖片；

使用所述車牌序列識別模型對所述車牌圖片進行檢測，得到所述待檢測的車輛圖片的車牌識別結果。

2.根據權利要求1所述的基于深度學習的車牌檢測與識別方法，其特征在于，所述的使用作為訓練數據的車牌圖片，訓練用于車牌檢測的卷積神經網絡，得到車牌檢測模型，包括：

設計用于車牌檢測的卷積神經網絡結構，該卷積神經網絡結構包括基礎特征提取網絡和卷積回歸層，所述基礎特征提取網絡包括VGG-Net，所述卷積回歸層使用卷積核在所述基礎特征提取網絡輸出的特征圖上進行滑動卷積，得到卷積核對應區域是否有車牌，以及如果存在車牌時車牌的四個頂點的坐標信息；

訓練階段使用預訓練過的分類模型，對所述卷積神經網絡中卷積層的參數進行初始化，使用標注過的帶有車牌頂點坐標信息的車輛圖片數據作為訓練樣本，使用訓練樣本訓練初始化后的卷積神經網絡結構，使用隨機梯度下降算法對初始化后的卷積神經網絡結構進行優化，得到車牌檢測模型。

3.根據權利要求1所述的基于深度學習的車牌檢測與識別方法，其特征在于，所述的使用作為訓練數據的車牌圖片，訓練由卷積神經網絡和循環神經網絡組成的序列識別模型，得到車牌序列識別模型，包括：

構建包含卷積神經網絡和循環神經網絡的序列識別模型，所述卷積神經網絡用于提取車牌圖片的基礎特征，對提取到的基礎特征按列分割并拼接構造成特征序列，所述循環神經網絡為長短時記憶網絡或者門控循環神經網絡；

使用標注過的車牌圖片數據訓練所述序列識別模型，對所述序列識別模型使用高斯初始化方法初始化各個權重參數，使用隨機梯度下降算法對初始化后的序列識別模型進行最優化，得到車牌序列識別模型。

4.根據權利要求1或2或3所述的基于深度學習的車牌檢測與識別方法，其特征在于，所述的使用所述車牌檢測模型對于待檢測的車輛圖片進行檢測，得到車牌圖片，包括：

使用所述車牌檢測模型對待檢測的車輛圖片進行檢測，得到車牌頂點坐標信息，按照車牌頂點坐標，在所述車輛圖片中截取出車牌圖片，使用所述車牌頂點坐標信息構造線性方程組，對所述線性方程組求解得到車牌校正變換矩陣，利用所述車牌校正變換矩陣對所述車牌圖片進行平移、縮放和旋轉處理，得到校正后的車牌圖片，對校正后的車牌圖片人工標注出圖片中的車牌號。

5.根據權利要求4所述的基于深度學習的車牌檢測與識別方法，其特征在于，所述的使用所述車牌序列識別模型對所述車牌圖片進行檢測，得到所述待檢測的車輛圖片的車牌識別結果，包括：

將所述校正后的車牌圖片輸入到所述車牌序列識別模型中，得到車牌序列識別結果，該車牌序列識別結果的長度和構造所述車牌序列識別模型的卷積神經網絡中的特征序列的長度一致；

按照分類概率使用一定的規則去除所述車牌序列識別結果中的空格和重復字符，把車牌序列識別結果映射到車牌識別結果。

6.一種基于深度學習的車牌檢測與識別裝置，其特征在于，包括：

車牌檢測模型構建模塊，用于使用作為訓練數據的車牌圖片，訓練用于車牌檢測的卷積神經網絡，得到車牌檢測模型；

車牌序列識別模型構建模塊，用于使用作為訓練數據的車牌圖片，訓練由卷積神經網絡和循環神經網絡組成的序列識別模型，得到車牌序列識別模型；

車牌圖片檢測模塊，用于使用所述車牌檢測模型對于待檢測的車輛圖片進行檢測，得到車牌圖片；

車牌識別結果獲取模塊，用于使用所述車牌序列識別模型對所述車牌圖片進行檢測，得到所述待檢測的車輛圖片的車牌識別結果。