[發明專利]一種任意傾斜角度的車牌檢測方法

有效

• 申請號: 202210595569.1
• 申請日: 2022-05-30
• 公開（公告）號: CN114677502B
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 劉寒松;王永;王國強;翟貴乾;劉瑞;焦安健;李賢超;譚連勝
• 申請（專利權）人: 松立控股集團股份有限公司
• 主分類號: G06V10/24
• 分類號: G06V10/24;G06N3/04;G06N3/08
• 代理公司: 青島高曉專利事務所(普通合伙) 37104
• 代理人: 黃曉敏

本發明屬于車牌檢測技術，涉及一種任意傾斜角度的車牌檢測方法，通過主干網絡對采集的數據集提取特征后送入特征金字塔提取特征，提取后的特征送入多尺度空洞卷積生成車牌分類概率和距離場，通過車牌分類概率和距離場聯合進行車牌初始區域的確定，然后選取車牌初始區域的外切矩形的四個頂點作為車牌校正的控制點，將控制點處的特征信息送入圖卷積神經網絡進行矯正，利用矯正后的車牌頂點坐標來矯正車牌得到利于后續識別的矩形車牌；利用圖卷積神經網絡進行車牌校正用來解決傾斜車牌的檢測和矯正問題，不僅僅可以用于側方位車牌檢測，還可以用于高位和低位攝像頭采集圖像的車牌識別問題。

技術領域

本發明屬于車牌檢測技術，涉及一種任意傾斜角度的車牌檢測方法，可以對任意角度的車牌進行檢測識別。

背景技術

隨著人工智能、物聯網、5G等技術的迅速發展，智慧交通在智慧城市中發揮了重要作用，而車牌檢測識別技術在智慧交通體系中扮演了重要角色。正向的車牌檢測與識別技術已經比較成熟，而側方位的車牌檢測技術由于受到車牌畸變、旋轉以及光線不足等復雜場景的時候表現的較差。

目前，針對側方位車牌檢測技術，現有技術中通常采用通用的物體檢測算法來檢測車牌，然后對檢測的車牌進行識別，但是由于車牌傾斜以及光線等的影響，單靠物體檢測的方法不能很有效的檢測出車牌，因此需要有更好的技術來輔助車牌的檢測，而且檢測的車牌往往是傾斜的，給后續識別帶來很多的不便，因此需要在檢測出的車牌的基礎上進行矯正，使得車牌識別率能夠真正滿足實際智能交通的應用場景。

由此可見，針對側方位停車場景，現有的車牌檢測技術中存在檢測精度不高的技術問題，急需更有效的方法進行車牌的檢測和矯正。

發明內容

本發明的目的在于克服現有車牌檢測技術對于側方位任意旋轉角度的車牌檢測能力不足的缺陷，設計提供一種利用圖卷積網絡校正的任意傾斜角度的車牌檢測方法，能夠高效的實現車牌檢測和矯正。

為實現上述目的，本發明對任意傾斜角度的車牌進行檢測的具體過程為：

（1）數據集構建：收集側方位視頻樁采集的含有傾斜、畸變車牌的圖像構建數據集，數據集中的車牌圖像需標注車牌的位置，并將數據集劃分為訓練集、驗證集和測試集；

（2）深度卷積特征提取：先對圖片的尺寸和數值范圍進行初始化處理，然后將處理后的圖像輸入到卷積神經網絡中進行卷積特征提取得到多尺度車牌卷積特征圖集合；

（3）生成包含任意形變車牌的候選框：將步驟（2）得到的多尺度車牌卷積特征圖集合輸入到多尺度空洞卷積聯合卷積模塊進一步提取特征，得到車牌像素的分類概率和距離場D；

（4）車牌區域的進一步確認：先將步驟（3）得到的距離場中值大于0.5的區域作為車牌的候選區域，再利用分類概率大于0.5的區域結合判斷該區域是否為車牌區域，通過兩者取交集得到車牌區域；

（5）車牌區域的矯正：選取步驟（4）中得到的車牌區域的外接矩形的四個頂點作為車牌矯正的控制點，將控制點位置在特征圖的特征向量輸入圖卷積神經網絡（GCN）進行矯正得到矯正后的車牌坐標，再將矯正后的車牌坐標與預設尺寸的車牌坐標進行仿射變換，通過兩者的坐標仿射變換計算出仿射矩陣，然后將仿射矩陣作用于原始圖像中通過坐標裁剪出來的車牌，獲得檢測并矯正后的車牌圖像；

（6）訓練網絡結構，得到訓練好的模型參數；先將數據集中訓練集的彩色圖像進行預處理，按照批次尺寸依次輸入到網絡中，初始車牌區域的神經網絡采用Focal損失計算預測類別和真實類別的誤差，采用Smooth L1損失來計算網絡預測的車牌位置與真實的車牌位置的誤差，通過反向傳播更新參數，經過設定次數完整訓練集訓練迭代后，保存結果最好的模型參數，作為最終模型；

（7）利用網絡輸出車牌檢測結果：將數據集中的圖像輸入步驟（6）得到的模型中，得到初始的車牌區域和矯正后的車牌頂點坐標，以矯正后的頂點坐標對車牌進行矯正得到能夠進行識別的車牌區域，輸出車牌檢測結果。