[發明專利]一種魯棒的車牌、車標識別方法

有效

• 申請號: 201611206923.8
• 申請日: 2016-12-23
• 公開（公告）號: CN106650731B
• 公開（公告）日: 2020-02-21
• 發明（設計）人: 鄭慧誠;袁帥;何娜;陳至宇
• 申請（專利權）人: 中山大學
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/34;G06K9/62
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 林麗明

1.一種魯棒的車牌識別方法，其特征在于，包括車牌檢測階段和車牌識別階段，在車牌檢測階段實現車牌區域的定位，基于定位后的車牌區域再進行車牌識別，其中車牌識別階段具體實現過程為：

11)對定位后車牌區域進行灰度化；

12)利用最大穩定極值區域MSER檢測方法在灰度化的車牌區域中尋找最大穩定極值區域，并對其檢測結果進行候選字符窗口的排序，具體是根據每個候選字符窗口左上角起點的橫坐標進行排序；

13)對MSER的檢測結果進行非字符窗口的初步濾除；

14)記錄并保存初步過濾后的每個候選字符窗口的置信度、中心點坐標以及寬和高，進而得到車牌的字符寬、高均值；

15)利用保存的候選字符窗口的中心點坐標以及車牌的字符寬、高的均值進行字符窗口恢復；

16)利用基于滑動窗的檢測方法和車牌字符寬、高的均值，進一步檢測基于MSER的方法可能漏檢的字符；

17)利用能量優化的方法對候選字符窗口進行識別，輸出最終車牌識別的結果；能量優化方程如下式所示：

其中，x＝{x_i|i＝1,2,...,n}為窗口類標的集合，x_i表示第i個窗口的類標，E_i(x_i)＝1-p(x_i|c_i)為一元項，表示自能量，其中c_i表示第i個窗口，p(x_i|c_i)為窗口c_i屬于x_i類的概率；E_ij(x_i,x_j)為二元項，表示互能量，當x_i與x_j均為背景類時，E_ij(x_i,x_j)＝0，否則E_ij(x_i,x_j)＝λexp(-[100-Overlap(x_i,x_j)]²)，其中Overlap(x_i,x_j)表示窗口之間重疊部分占窗口總面積的百分數，λ為調整互能量權重的參數；ε表示互有交集的窗口對的集合。

2.根據權利要求1所述的魯棒的車牌識別方法，其特征在于，車牌檢測階段的具體實現過程為：

21)利用Adaboost檢測器對車牌樣本進行檢測，獲取若干個候選區域；

22)利用SVM分類器對Adaboost檢測結果進行篩選，找出置信度最高的區域；

23)對SVM的篩選結果進行紋理分析，確定車牌的邊界，獲取精確定位的車牌區域；

24)基于公式(1)對紋理分析的結果進行判定，當θ＞0.8時，則沒有過分割，保留基于紋理分析的定位結果，否則拒絕基于紋理分析的定位結果，保留SVM篩選及精確定位后的結果；

其中Area_{Texture_analysis}表示基于紋理分析去邊處理后車牌區域的面積，Area_SVM表示SVM篩選及精確定位后車牌區域的面積。

3.一種基于權利要求1或2所述車牌識別方法的車標識別方法，其特征在于，包括以下步驟：

31)根據車標與車牌位置關系的先驗知識，以及精確定位的車牌位置坐標，獲得車標所在的大致區域；

32)利用Adaboost檢測器在大致區域中進行車標檢測，獲得車標的候選區域ROI，在車標的候選區域ROI的并集區域內等間隔地提取局部描述子；

構建一張尺寸與輸入圖像I相同的輔助權值圖W，令R_i∈S為第i個ROI的像素位置集合，S為輸入圖像中所有ROI的集合，R_I為輸入圖像中所有像素位置的集合，對于每一個R_i，利用下式計算其權值分布，

其中，|R_i|表示R_i中所有像素的數量，(x,y)表示像素的坐標；假設每個ROI同等重要，利用下式合并圖像中所有ROI的權重分布，從而構建出完整的權值圖；

33)利用加權的特征編碼方式對車標樣本進行表達，具體過程如下：

設為提取的局部描述子特征向量集合，l為特征維數，N為特征向量的個數；利用K-means生成一個包含M個聚類的碼本

求解與特征向量y_i相對應的編碼向量c_i，如下式：

其中，符號⊙表示逐個元素相乘，λ為調節保真度和規范化之間平衡的參數；g_i刻畫y_i與碼本B中各碼字b_j的相似關系，用于調節c_i的局部性，由下式求得：

其中，||y_i,B||＝[||y₁,b₁||,||y₂,b₂||,...,||y_i,b_M||]^T，||y_i,b_j||表示y_i與b_j之間的歐式距離，參數σ用于調整局部性；

為了提高編碼效率，對每個y_i∈Y，選出使其歐式距離||y_i,B||最小的前K個碼字，構成局部基向量矩陣對應的編碼向量通過下式最小化求解：

接著，利用學習得到的權值圖W對局部編碼向量進行加權，如下式所示：

c_i←W(x,y)c_i

即利用(x,y)處的權值W(x,y)來加權與該處描述子所對應的編碼向量c_i；

接著，需要對加權后的編碼向量進行最大值池化，如下式：

c＝max(c₁,c₂,...,c_N)

其中max執行逐分量的最大化操作；引入空間金字塔結構在多個尺度下對編碼向量進行分區域的池化處理；金字塔被分成L層，在第r層，r＝1,2,...,L，圖像的特征空間被分成2^r-1×2^r-1個矩形區域，在其中每個矩形區域內提取l維池化的編碼向量；將每層的特征向量全部串聯起來構成最終維的向量；

34)利用區分性字典對學習DDPL方法對編碼特征進行識別并輸出結果：

設X＝[X₁,X₂,...,X_K]為包含K類的訓練樣本集，為第k類的子集，p為特征向量維數，h為每類樣本的數量；令D為所要學習的字典，A為編碼系數矩陣；基于組稀疏的區分性字典對模型，目標函數定義如下式：

其中，{D_k,P_k}構成了關于第k類的子字典對；A_k是第k類的編碼系數矩陣；表示除了X_k之外的所有訓練樣本；參數λ＞0控制P_k對的表達；τ、ω為正，用于平衡對應項的貢獻；m_k是A_k的均值列向量，m是所有類的均值列向量，M_k是各列為m_k的矩陣；d_i表示D的第i列，用于避免平凡解。