[發明專利]通用車牌識別方法

有效

• 申請號: 201710316982.9
• 申請日: 2017-05-08
• 公開（公告）號: CN107180230B
• 公開（公告）日: 2020-06-23
• 發明（設計）人: 侯俊;蘇乾;蔣睿杰
• 申請（專利權）人: 上海理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06K9/44;G06K9/32;G06K9/34
• 代理公司: 上海申匯專利代理有限公司 31001
• 代理人: 吳寶根

1.一種通用車牌識別方法，其特征在于，具體包括如下步驟：

1)觸發相機進行視頻拍攝，具體包括二個獨立進程：(A)光流法獲得運動前景并提取關鍵特征點；(B)關鍵特征點聚類后聚焦拍照；

2)運動圖像去模糊：拍攝視頻時，車輛速度慢，視頻所得圖像清晰，則進入步驟3)；如拍攝視頻時，車輛速度快，則視頻所得圖像模糊，根據步驟1)中(B)所得到的聚焦特征點集合值進行濾波去除運動引發的模糊；

3)車牌定位，得到車牌區域輪廓二值化圖I1；

4)仿射，對拍攝到的車牌在圖像的傾斜度仿射矯正，根據I1計算仿射變換的參數，對I1進行仿射變換得到仿射變換后車牌圖像I2；

5)車牌內部區域分割，提取信息：對步驟4)仿射變換后車牌圖像I2采用Sobel算子提取邊界，進行車牌背景底色/背景圖案邊緣初步篩選；將主信息與未剔除的圖案區進行區分，提取主信息；提取車牌內部矩形區域；車牌上方、下方輔助信息定位；檢測車牌是否有上部、下部的輔助信息，如有獲取上方、下方輔助信息；提取信息的具體步驟如下(E1)-(E5)：

(E1)、車牌背景底色/背景圖案邊緣初步篩選：對步驟4)仿射變換后車牌圖像I2采用Sobel算子提取邊界，得到邊界圖像Ia，然后采用Otsu方法對邊界圖像進行二值化處理得到二值圖像Ib；前景與背景之間的邊界經sobel算子處理后絕對值非常大，在二值化后前景-背景邊界被設定為1，背景經過Sobel算子處理后，相鄰像素之間差異值很小，背景-背景邊界在二值化后會被設定為0；

(E2)、提取主信息：將主信息與未剔除的圖案區進行區分，提取主信息，具體實現方法如下步驟(E2-1)至(E2-3)：

(E2-1)首先對二值圖像Ib檢測閉合區域，然后對閉合區域做種子填充，閉合區域內部所有像素點用“1”填充，這樣得到的圖像稱為模板圖像Ic，再將模板圖像Ic與圖像I2進行“與”操作，得到圖Id，圖Id中有主、輔助信息、強邊緣的背景圖；

(E2-2)對應模板圖像Ic中像素值為1的位置，在圖Id中與之對應的位置各像素點做直方圖統計，初始化當前像素值pg＝2；

(E2-3)對當前像素值pg進行(E2-3a)至(E2-3d)處理：

(E2-3a)判斷是否pg小于254，若否，則表示沒有發現主信息，退出整個識別過程，車牌無法識別：若是，則統計步驟(E2-2)直方圖中像素值pg-2、pg-1、pg、pg+1、pg+2合計出現的概率，若合計出現的概率超過12％，則轉入(E2-3b)；否則更新pg＝pg+1，然后重復本步驟；

(E2-3b)在圖Id中，連通為八連通、連通規則為：若相鄰像素值分別與pg之差的絕對值不超過2則連通；判斷此規則下出現的連通區域個數是否不少于門限VII，若是則轉到步驟(E2-3c)；如否，更新pg＝pg+1,返回(E2-3a)；

(E2-3c)分別求(E2-3b)中這些連通區域的行坐標X最大值、最小值，統計滿足以下條件：最大值大于車牌高度的55％、并且最小值小于車牌高度的40％的連通區域的個數N1，若N1小于門限VII則更新pg＝pg+1，返回(E2-3a)；否則轉至(E2-3d)；

(E2-3d)判斷滿足(E2-3c)中X坐標條件的連通區域為車牌主信息區域，提取滿足步驟(E2-3c)中條件的連通區域圖像，將這些連通區域記錄在一個序列中，同時記錄這些連通區域行坐標X最大值Xmax、最小值Xmin和列坐標Y最大值Ymax、最小值Ymin，并記錄下當前pg值，然后轉到步驟(E3)；

(E3)、提取車牌內部矩形區域：具體做法如下(E3-1)至(E3-3)：

(E3-1)更新模板圖像Ic：對步驟(E2-3d)中獲得的主信息區域，在模板圖像Ic中對應位置處像素值改為0，得到更新后的不含主信息的模板圖像—此處記為Ic2；

(E3-2)將車牌圖像I2與模板圖像Ic2進行“與”操作，得到的圖像記為Ie，Ie中不含車牌主信息、不含車牌背景中邊緣強度較弱圖案；

(E3-3)做步驟(E3-3a)至(E3-3c)處理去除車牌中邊界強度較強的背景圖案、提取車牌左、右方輔助信息的矩形；

(E3-3a)初始化矩形集合為空集，矩形集合用于記錄各個矩形；

(E3-3b)對Ie用Sobel邊緣算子提取邊界，得到邊界圖像If，對If進行二值化處理：只要邊緣強度大于門限VIII則二值化為1，否則為0，得到二值化圖像記為Ig；在Ig中檢查是否包含閉合輪廓，并記錄檢測到的閉合輪廓，若閉合輪廓內部包含閉合輪廓，則只記錄最頂層閉合輪廓，內部閉合輪廓勿需記錄；

(E3-3c)歷遍(E3-3b)中得到的所有輪廓，對每個頂層輪廓進行如下操作(E3-3C1)至(E3-3C3)：

(E3-3c1)該輪廓是否為矩形？如果否，則跳轉至(E3-3c2)步驟；若是則繼續判斷矩形寬、高比值是否在0.6-1.25之間、并且該矩形面積大于車牌面積的5％？若否，則忽略該矩形、對下一個頂層輪廓進行(E3-3c1)步驟；若是則跳轉至(E3-3c3)；

(E3-3c2)檢查是否該輪廓行坐標X最小值小于車牌高度的一半、并且行坐標X最大值大于車牌高度的一半？若是，更新模板圖像Ic2，即在模板圖像Ic2中該輪廓所包含區域對應位置全部像素值修改為0；若否，則忽略該輪廓，返回(E3-3c1)對下一個輪廓進行處理；

(E3-3c3)該矩形放入矩形集合中，更新模板圖像Ic2，在模板圖像Ic2中將該矩形內部區域對應位置像素值全部修改為0；

模板圖像Ic2像素值為1的區域對應車牌圖I2中無弱背景圖案、無位于車牌中部的強背景圖案、無矩形內輔助信息、無車牌主信息；

(E4)車牌上方、下方輔助信息定位：車牌中信息無論分幾行，行與行之間是有明顯間隔的，對步驟(E3)處理后的模板圖像Ic2做水平方向投影，水平投影中出現峰值，如果只有上或下部出現峰值，則表明車牌有二部分組成，如果沒有明顯峰值，則車牌僅有中間信息組成；如果上、下部分投影后都沒有明顯峰值，說明只有主信息一行，可以轉入步驟6)進行信息識別了，否則轉入(E5)；(E5)獲取上方、下方輔助信息：具體步驟如下(E5-1)至(E5-8)：

(E5-1)將車牌圖像I2與經過步驟(E4)判斷定位后的模板圖像Ic2做“與”操作，得到的圖像記為Ih；若在(E4)中判斷上部有內容，則從Ih中提取X坐標在0-Xmin區間的圖像，相應也從此模板圖像Ic2中提取X坐標在0-Xmin區間的模板圖像；若判斷下部有內容則在Ih中提取X坐標在Xmax，Ih中Xmax屬于車牌高度區間的圖像，相應也從此模板圖像Ic2中提取X坐標在Xmax，Ic2中Xmax屬于車牌高度區間的模板圖像；

(E5-2)至(E5-8)是對上、下二個區域分別進行的，將從Ih中提取的一個區域圖像稱為Re，將從步驟(E5-1)區間判斷后的模板圖像Ic2中提取的對應模板圖像標記為Ics；

(E5-2)對Re運用Sobel邊緣算子，得到邊界圖像，對該邊界圖像進行二值化處理得到圖像Rc1，然后對得到的二值化圖Rc1檢測閉合輪廓，只記錄頂層閉合輪廓；

(E5-3)在Rc1中對每個頂層閉合輪廓進行種子填充，得到圖像Rc2，將Rc2和Re進行“與”操作，得到圖像Re2，同時記錄每個頂層閉合輪廓的最大、最小Y坐標；

(E5-4)對Rc1中各個頂層閉合輪廓，統計其在Re2中對應該輪廓所圍區域像素平均值和方差；

(E5-5)檢查每個輪廓的所圍區域均值和方差，若方差大于門限XI，則在步驟(E5-1)區間判斷后的模板圖像Ic2中將該輪廓所圍區域內所有像素值改為0，判斷該輪廓屬于非輔助信息；否則判斷為“潛在輔助信息”的輪廓；

(E5-6)歷遍每個“潛在輔助信息”輪廓，檢查該輪廓Y坐標最大值是否大于車牌寬帶65％、并且最小值是否小于車牌寬帶35％？若是，則保留該輪廓，認為它是輔助信息，可以被送入步驟6)進行識別，并將其標記為圖標，以便在后續對該區域不做字符分割處理，同時在Ic2將所有該輪廓所圍區域像素值均改為0；若否，則該輪廓被判為屬于“孤立潛在輔助信息”的輪廓；

(E5-7)對所有“孤立潛在輔助信息”進行合并處理：如果二個“孤立潛在輔助信息”輪廓中X坐標最小值之差的絕對值不超過5，X坐標最大值之差的絕對值不超過5、并且所圍區域像素平均值的差異之絕對值小于10，則認為這二個孤立潛在輔助信息可以合并，將二者Y坐標的最小值中最小的一個、二者Y坐標最大值中大的一個，分別作為合并后新區域Y坐標最小值、最大值，求新區域的像素平均值，重復本步驟直到沒有可以合并的“孤立潛在輔助信息”；

(E5-8)檢查每個合并后新區域Y坐標最大值是否大于車牌寬帶65％并且最小值是否小于車牌寬帶35％？如是，則認為它含有輔助信息，需要對區域內每個閉合區域進行字符識別；若否，則說明該區域無實質性信息，直接丟棄該區域，并在Ic2將所有該區域包含的像素點值設為0；

6)字符/圖標識別：對步驟5)區域內的信息進行字符/圖標識別，完成整個車牌識別。