[發明專利]車牌號碼識別方法及裝置

在審

• 申請號: 202110302814.0
• 申請日: 2021-03-22
• 公開（公告）號: CN112906643A
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 詹益俊;陳利軍;林煥凱;洪曙光;夏長得;劉雙廣
• 申請（專利權）人: 高新興科技集團股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06N3/04;G06N3/08
• 代理公司: 廣州國鵬知識產權代理事務所(普通合伙) 44511
• 代理人: 葛紅

本申請揭示了一種車牌號碼識別方法及裝置，該方法包括利用訓練好的車牌檢測器對執法儀視頻中的圖像進行車牌域識別，再利用拉東變換對車牌域進行粗矯正；將粗矯正后的車牌域輸入至車牌關鍵點特征模型進行車牌關鍵點特征定位，得到精準定位的車牌；依次仿射變換和投影精準矯正方式對車牌進行二次精確矯正；利用端到端的車牌字符識別模型及車牌類型匹配模板，對矯正后的車牌進行車牌號碼修正識別。本申請通過拉東變換、仿射變換和投影精準矯正方式分別對車牌進行矯正，彌補單次矯正的不足，提高矯正效率；通過端到端的車牌字符識別模型和車牌類型匹配模板的匹配機制，規避了字符誤生成或漏生成問題，并降低了車牌多次循環匹配的復雜度。

技術領域

本發明屬于車牌號碼識別技術領域，涉及一種車牌號碼識別方法及裝置。

背景技術

智能車牌識別方法是一種基于視頻圖像中的車牌特征進行車牌號碼識別的技術。這種技術被廣泛地運用在交通車輛違章監管、交通事故取證復核等領域。常規卡口的車輛車牌識別技術路線可以總結為：對輸入處理的一張圖像或一段視頻，首先采用車輛檢測器對視頻圖像中的車輛進行一級檢測，再將車輛區域進行車二級車牌區域檢測，然后將車牌待檢區域輸入到車牌關鍵點特征模型中提取車牌區域圖像的關鍵點特征，再通過仿射變換、水平投影等對車牌關鍵點矯正，最后將矯正后的車牌通過字符檢測及號碼識別技術，實現常規卡口抓拍車輛的車牌號碼準確識別。

然而移動佩戴式執法儀辦案環境復雜多變，視頻拍攝易受光照，抖動，佩戴高低及角度等因素干擾，導致視頻圖像中的車輛特征缺失嚴重，車牌偏斜角度及形變較大，加大了執法儀視頻圖像車牌識別的難度。車牌號碼的準確識別對交通違章及事故核實取證等至關重要，而依靠傳統方法的車牌特征提取，常規卡口車輛一級至車牌域二級檢測模式及單次傾斜車牌角度矯正方法已無法有效解決執法儀車牌識別所遇到的問題，因此急需一種針對執法儀的智能車牌識別技術方案。

發明內容

本申請提供了一種車牌號碼識別方法及裝置，技術方案如下：

第一方面，提供了一種車牌號碼識別方法，所述方法包括：

利用訓練好的車牌檢測器對執法儀視頻中的圖像進行車牌域識別，利用拉東變換對車牌域進行粗矯正；

將粗矯正后的車牌域輸入至車牌關鍵點特征模型進行車牌關鍵點特征標注，得到包含標注有車牌關鍵點特征的車牌；

依次利用仿射變換和投影精準矯正方式分別對所述車牌進行二次精確矯正；

利用訓練好的端到端的車牌字符識別模型及與車牌類型匹配模板，對所述二次精確矯正后的車牌進行車牌號碼修正識別，所述端到端的車牌字符識別模型標簽對應于車牌號碼的字符類別數。

可選地，在所述輸入至車牌關鍵點特征模型進行車牌關鍵點特征標注之前，所述方法還包括：

對標注的所述車牌關鍵點的坐標進行隨機外擴，得到具備所述外擴后的車牌關鍵點坐標的車牌域。

可選地，在所述利用訓練好的端到端的車牌字符識別模型及與車牌類型匹配模板，對所述二次精確矯正后的車牌進行車牌號碼修正識別之前，所述方法還包括：

獲取各類標簽的字符識別框的樣本集，每個字符識別框中的字符均進行過字符預標注，所述樣本集中包含困難樣本；

利用所述樣本集訓練所述端到端的車牌字符識別模型，所述車牌字符識別模型的卷積神經網絡中添加有CBAM特征注意力模塊，所述困難樣本用于對所述注意力模塊進行在線調整；

在所述車牌字符識別模型的字符正確識別率達到預定識別率時，停止訓練。

可選地，所述獲取各類標簽的字符識別框的樣本集，包括：

識別樣本車牌圖像中車牌的車牌類型，獲取與所述車牌類型對應的車牌模板；