[發明專利]車牌號碼識別方法及裝置

在審

• 申請號: 202110302814.0
• 申請日: 2021-03-22
• 公開（公告）號: CN112906643A
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 詹益俊;陳利軍;林煥凱;洪曙光;夏長得;劉雙廣
• 申請（專利權）人: 高新興科技集團股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06N3/04;G06N3/08
• 代理公司: 廣州國鵬知識產權代理事務所(普通合伙) 44511
• 代理人: 葛紅

1.一種車牌號碼識別方法，其特征在于，所述方法包括：

利用訓練好的車牌檢測器對執法儀視頻中的圖像進行車牌域識別；

將識別出的車牌域先拉東變換粗矯正、再輸入至車牌關鍵點特征模型進行車牌關鍵點特征標注，得到包含標注有車牌關鍵點特征的車牌；

依次利用仿射變換和投影精準矯正方式分別對所述車牌進行二次精確矯正；

利用訓練好的端到端的車牌字符識別模型及與車牌類型匹配模板，對所述二次精確矯正后的車牌進行車牌號碼修正識別，所述端到端的車牌字符識別模型所使用的標簽對應于車牌號碼的字符類別數。

2.根據權利要求1所述的方法，其特征在于，在所述輸入至車牌關鍵點特征模型進行車牌關鍵點特征標注之前，所述方法還包括：

對標注的所述車牌關鍵點的坐標進行隨機外擴，得到具備所述外擴后的車牌關鍵點坐標的車牌域。

3.根據權利要求1所述的方法，其特征在于，在所述利用訓練好的端到端的車牌字符識別模型及與車牌類型匹配模板，對所述二次精確矯正后的車牌進行車牌號碼修正識別之前，所述方法還包括：

獲取各類標簽的字符識別框的樣本集，每個字符識別框中的字符均進行過字符預標注，所述樣本集中包含困難樣本；

利用所述樣本集訓練所述端到端的車牌字符識別模型，所述車牌字符識別模型的卷積神經網絡中添加有CBAM特征注意力模塊，所述困難樣本用于對所述注意力模塊進行在線調整；

在所述車牌字符識別模型的字符正確識別率達到預定識別率時，停止訓練。

4.根據權利要求3所述的方法，其特征在于，所述獲取各類標簽的字符識別框的樣本集，包括：

識別樣本車牌圖像中車牌的車牌類型，獲取與所述車牌類型對應的車牌模板；

獲取所述車牌圖像中待識別車牌所包含的每個字符各自所在的字符識別框；

根據所述車牌模板，添加漏生成的字符識別框以及刪除誤生成的字符識別框，得到字符識別框集合；

對所述字符識別框集合中的每個字符識別框進行字符預標注，得到所述樣本集。

5.根據權利要求4所述的方法，其特征在于，所述添加漏生成的字符識別框，包括：

根據所述待識別車牌的寬高比，確定漏生成的字符識別框的尺寸，添加具備所述尺寸的漏生成的字符識別框。

6.根據權利要求1所述的方法，其特征在于，所述方法還包括：

從視頻幀中抽幀獲取包含車輛特征的車輛圖像；

從具備完整車牌的車輛圖像中篩選出同一輛車的具備不同傾斜角度車牌的車牌圖像；

從篩選出的車牌圖像中隨機選取預定數量的車牌圖像作為車牌圖像數據集，并在訓練過程中以隨機復制、旋轉及加噪的方式加大困難樣本在所述車牌圖像數據集中的占比；

所述車牌圖像數據集中的每張車牌圖像均被進行了車牌關鍵點特征的預標注；

利用所述車牌圖像數據集對所述車牌檢測器進行訓練，所述車牌檢測器用于識別出包含有車牌的圖像，所述車牌檢測器的網絡模型中添加有CBAM卷積注意力；

當所述車牌檢測器檢測出車牌圖像的驗證準確率達到預定閾值時，停止訓練；

將訓練完成的所述車牌檢測器的網絡模型遷入到一個保留主SSD架構，復雜度更低的網絡模型中，得到所述訓練好的車牌檢測器。

7.一種車牌號碼識別裝置，其特征在于，所述裝置包括：

車牌識別模塊，被配置為利用訓練好的車牌檢測器對執法儀視頻中的圖像進行車牌域識別；

粗矯正模塊，被配置為將所述車牌識別模塊識別出的車牌域先拉東變換粗矯正；

關鍵點標注模塊，被配置為將所述粗矯正模塊粗矯正后的車牌域輸入至車牌關鍵點特征模型進行車牌關鍵點特征標注，得到包含標注有車牌關鍵點特征的車牌；

二次矯正模塊，被配置為依次利用仿射變換和投影精準矯正方式分別對所述車牌進行二次精確矯正；

號碼識別模塊，被配置為利用端到端的車牌字符識別模型及與車牌類型匹配模板，對所述二次矯正模塊矯正后的車牌進行車牌號碼修正識別，所述端到端的車牌字符識別模型所使用的標簽對應于車牌號碼的字符類別數。