[發明專利]機動車車牌自動識別方法及其實現裝置

有效

• 申請號: 200810062458.4
• 申請日: 2008-06-17
• 公開（公告）號: CN101398894A
• 公開（公告）日: 2009-04-01
• 發明（設計）人: 朱信忠;趙建民;徐慧英;胡承懿
• 申請（專利權）人: 浙江師范大學
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06K9/46;G06T7/20
• 代理公司: 杭州賽科專利代理事務所
• 代理人: 陳 輝

1.一種機動車車牌自動識別方法，其特征在于所述方法包括以下步驟：

(1)對采集的車輛交通視頻進行處理，截取視頻中相鄰的兩幀，采用改 進的瞬時差分法，設計以點為中心、固定大小的范圍作為差分區域，取該區 域的灰度均值進行差分計算，對差分圖像進行濾波及膨脹操作，根據連通區 域外接矩形的面積進行過濾，進行多目標的車體區域定位，具體為：(1.1) 從視頻中截取相鄰的第k-1幀與第k幀圖像，并進行灰度化；(1.2)選取以點 為中心的3×3框架作為差分區域，取該區域的灰度均值做差分，并取差分的 平方，以加強運動像素與靜止像素的灰度反差，計算公式如下：

d_k(x，y)＝|f_k(x，y)-f_k-1(x，y)|²????(6)

其中，f_k(x，y)為該點第k幀圖像差分區域的灰度均值，f_k-1(x，y)為第k-1幀圖 像差分區域的灰度均值；(1.3)對差分圖像進行濾波及膨脹操作，通過濾波 操作以消除差分圖像中細小的噪聲影響，通過膨脹操作使得目標區域增大， 空洞減小，并填補目標圖像中的空洞形成連通區域；(1.4)根據連通區域外 接矩形的面積進行過濾，對于各連通區域的外接矩形，面積大于設定的閾值 即判定為車體，定位并分割出車體區域圖像；

(2)對車體區域圖像進行處理，包括車體區域圖像的灰度化、二值化、 數學形態學運算，得到若干個連通區域，利用車牌寬高范圍、寬高比率以及 連通區域的填充度特征進行過濾，剔除不符合條件的連通區域，獲取候選車 牌區域圖像，具體為：(2.1)對步驟(1)中獲取的車體區域圖像進行灰度化， 計算公式是：

Gray＝0.229R+0.587G+0.114B????(7)

(2.2)對車體圖像的梯度信息進行加強，使得其中的車牌區域的水平方向梯 度更為明顯，方法如下：

O(i,j)=1SRΣα=-s/2α=s/2|I(i,j+l+α)-I(i,j-l+α)|---(8)]]>

其中O(i，j)為輸出圖像；I(i，j)為原始圖像；S、R、l為與車牌大小相關的常數， α為梯度增強的尺度變量；(2.3)采用平均值加標準差作為閾值來對車體區域 圖像進行二值化，二值化的閾值選取如下：

????T＝E+δ????(9)

E=1w*hΣj=0hΣi=0wf(i,j)---(10)]]>

δ=1w*hΣi*w+j=0w*h-1(f(i,j)-E)2---(11)]]>

其中，T為閾值，E為均值，δ為標準差，f(i，j)為圖像像素灰度值，w、h分別 為圖像寬度和高度；(2.4)進行數學形態學運算，先用一個適當的結構元素 對車體區域圖像進行腐蝕運算以去除獨立的噪點，其次用閉運算，即先膨脹 后腐蝕，來填補圖像中的微小孔洞并且平滑邊界，形成若干個連通區域；

(2.5)車牌圖像寬高比在1.5～3.5之間，以寬高比為標準對各個連通區域進 行初次分類，剔除不符合條件的連通區域，得到若干候選車牌區域圖像；

(3)將候選車牌區域圖像由RGB顏色空間轉換到HSV顏色空間，并進 行基于區域色彩距離的彩色邊緣檢測，利用BP神經網絡對候選車牌圖像進行 顏色識別，計算任一像素點兩個相鄰區域的平均色彩距離，若大于閾值t，則 認為該像素是一個邊緣點，然后對邊緣像素點進行篩選，判斷各邊緣點的邊 緣顏色對是否符合我國標準車牌的顏色搭配，取得真實的車牌邊緣點，具體 為：(3.1)將候選車牌區域圖像由RGB顏色空間轉換到HSV顏色空間，轉 換方法如下：

H=θifG≥B2π-θifG<B---(12)]]>

S=max(R,G,B)-min(R,G,B)max(R+G+B)---(13)]]>

V=max(R,G,B)255---(14)]]>

θ=cos-1[[(R-G)+(R-B)]/2(R-G)2+(R-B)(G-B)]---(15)]]>

其中，色度H用角度-π～π或0～2π來度量，對應于顏色輪上的角度，亮度V 是指顏色明暗程度，從黑0％到白100％，飽和度S指顏色的深淺，從0％到完 全飽和的100％，與光強度無關；(3.2)使用BP神經網絡進行顏色識別，所 述BP神經網絡由定義神經網絡輸入層、隱含層、輸出層三層BP網絡和一層 競爭網絡組成；其中定義神經網絡輸入層有24個節點，分別對應某一個像素 點8鄰域像素的H、S、V值，隱含層設置60個節點，輸出層有6個節點，分 別對應白、黑、紅、黃、藍和其他色共六種顏色；最后由競爭網絡選擇輸出 層的6個輸出值的最大值所對應的顏色作為最后的像素顏色；(3.3)以C(i，j) 為中心取大小為(2n+1)(2n+1)的窗口，過C(i，j)作一條與垂直方向夾角為 β(0≤β≤π)的線段L將窗口劃分為W₁和W₂兩部分，各包含N個像素，則W₁和W₂內像素的平均色彩函數值分別為：

CnβW1=(HnβW1,SnβW1,VnβW1)=1NΣx=1NCW1x---(16)]]>

CnβW2=(HnβW2,SnβW2,VnβW2)=1NΣy=1NCW2y---(17)]]>

其中，n為距離尺度，N為W₁和W₂區域內的像素個數，分別是 W_i(i＝1，2)內N個向量像素H、S、V_i分量的平均值，和分別表示W₁和W₂區域內的第x個和第y個像素；(3.4)定義區域平均色彩距離的計算公式如下：

D=(HnβW1-HnβW2)2+(SnβW1-SnβW2)2+(VnβW1-VnβW2)2---(18)]]>

其中，分別是兩相鄰區域的H、S、V顏色分量的平均值，旋 轉線段L，必定存在一個β(0≤β≤π)角，使得D取得最大值D_max，如果某一個 像素的D_max＞t，這個像素是一個邊緣點；閾值t的選取通過確定一個尺度范圍， 用大、中、小多個尺度進行邊緣檢測以改善檢測效果，選取三種尺度的D_max之 和的平均作為方向區域距離的測度D_avg：

Davg=13Σk=13Dmaxk,]]>(1≤k≤3)????(19)

其中max₁、max₂、max₃分別代表小尺度、中尺度和大尺度，若D_avg均值為μ， 標準方差為σ，則閾值t可近似表示為：

t＝μ+λσ，λ＝3～4????(20)

(3.5)運用步驟(3.2)中的BP神經網絡判別每個邊緣點的邊緣顏色對，用 數字1-6來分別代表我國車牌的藍色、白色、黑色、紅色、黃色和其他色， 則所有車牌的邊緣色彩搭配如下：

color＝{(2，3)，(2，4)，(1，2)，(3，2)，(5，3)}????(21)

如檢測到的邊緣顏色對符合color集合中的色彩搭配，則認為該點是真實車牌 邊緣點，否則認為是多余邊緣除去；

(4)結合車牌的紋理特征進行車牌的最終定位，通過判斷水平線與彩色 圖像邊緣的交點個數，得到真實的車牌區域，并對獲取的車牌圖像進行處理， 包括對灰度化、二值化、傾斜校正、背景色統一、噪聲干擾消除，最終取得 最小車牌區域，具體為：(4.1)作剩余連通區域的最小外接矩形，取矩形的 水平中位線，對稱地向上或者向下橫向掃描各個候選區域，水平線中必有一 條或多條橫穿字符區域，與車牌彩色邊緣有多個交點，通過判斷水平線與邊 緣的交點個數，得到真實的車牌區域；(4.2)按照步驟(2.1)及(2.3)所 述方法對彩色車牌區域圖像進行灰度化及二值化；(4.3)采用Radon變換對 傾斜的車牌圖像進行校正，曲線f(x，y)的Radon變換是一個平行于y軸的線積 分：

Rθ(x′)=∫-∞∞f(x′cosθ-y′sinθ,x′sinθ+y′cosθ)dy′---(22)]]>

式中：x′y′=cosθsinθ-sinθcosθxy---(23)]]>

由θ以及x可確定一條直線，確定出θ值之后，對圖像進行旋轉|90-θ|°處理；

(4.4)將車牌區域的二值圖像統一為黑底白字，統計二值圖像中白色像素的 數量，若白色像素所占比例超過50％，則認為此圖片的背景色為白色，進行 反色變換；如果白色像素所占比例不足50％，則說明該車牌的二值圖像為黑 底白字，保持不變；(4.5)基于字符區域黑白顏色跳變特征，消除對車牌圖 像存在的上下邊框的干擾，依次考慮以下規則：(4.5.1)黑白跳變小于第一 閾值的行即被視為背景；(4.5.2)連續白線長度大于第二閾值，則該白線被 認為是背景；(4.5.3)單行白色點總數大于第三閾值，則該行被認為是背景； (4.5.4)在車牌高度的上面1/2處向上搜索第一條全為黑的線，則認為該黑 線以上為背景；在下面1/2處向下搜索第一條全為黑的線，則認為該黑線以下 為背景；(4.6)采用基于連通區域的方法消除車牌圖像中的細小噪聲，對于 每個白色像素，均求出它的最大連通區域，即任選車牌圖像中的某一個白色 像素，向該像素相鄰的8個方向搜索，若某方向上為白色像素，標記并計數， 直到該白色連通區域內任意一個白色像素都被標記一次，此時白色像素數量 的計數結果就是所述連通區域的面積，再通過設置高度閾值、面積閾值來去 除噪聲部分；(4.7)如果步驟(4.3)的旋轉操作及后續的處理使得字符歪曲 且邊緣出現“毛刺”現象，對圖像進行反旋轉操作校正字符并消除毛刺，旋 轉角度為-|90-θ|°；(4.8)取得最小車牌區域的方法是依次從上向下、從下向 上、從左向右、從右向左搜索第一條不為全黑的直線，則這4條直線包圍的 范圍是最小車牌區域；(4.9)自定義結構元素對象，對車牌圖像進行膨脹或 腐蝕操作，實現平滑字符邊緣、填補細小漏洞、均衡車牌字符的粗細程度；

(5)對經過處理的車牌圖像結合豎直投影和滴水算法進行字符分割，在 車牌字符間隙區域取得白色像素投影的局部最小值作為粗分割的依據，若粗 分割得到的字符塊寬度超過寬度閾值，則運用滴水算法進行二次精確分割， 尋找字符的閉合邊緣輪廓，沿著縫隙進行裁剪，以最左上角和最右下角的邊 緣點為基準進行分割及矩形化拓展，并對分割出來的目標字符圖像進行篩選， 去除垂直邊框、鉚釘、分隔符非字符圖像，具體為：(5.1)對車牌圖像進行 豎直投影，即統計每一列白色像素的個數，在兩個字符間隙可取得投影局部 最小值，以此作為分割點進行字符粗分割；(5.2)粗分割結果中若有單個字 符寬度大于車牌總寬度的1/7，則認為存在字符粘連，進行二次精確分割，采 用各向同性的Isotropic?Sobel算子提取粘連字符的閉合輪廓邊緣，Sobel算子 又分為兩種：

檢測水平邊緣的-101-202-100,]]>以及檢測垂直邊緣的-1-2-1000121;]]>(5.3)運 用滴水算法進行字符二次分割，沿著字符的邊緣輪廓進行分割，以最左上角 和最右下角的邊緣像素點作為定位點進行裁剪，并對裁剪的字符圖像進行矩 形化拓展，背景用黑色區域填充；(5.4)最左側字符寬度若小于車牌總寬度 的1/7×30％，則認為是左邊框，設為背景色；(5.5)對目標字符圖像進行色彩 特征判斷，去除殘留分隔符和鉚釘的干擾：若目標字符圖像上下1/3都是空白， 只有中間1/3不是空白，則認為是分隔符干擾；若中間1/3是空白，上面1/3 或者下面1/3不是空白，則認為是鉚釘干擾；(5.6)若目標字符圖像數量仍然 超過7個，則認為最后一個是右邊框予以去除；

(6)根據水平和垂直兩個方向字符像素的分布將字符圖像歸一化為 32×16像素大小，字符區域背景為黑色，字符前景為白色，將歸一化后的字符 點陣的每個像素點作為一個網格，提取字符圖像的原始粗網格特征，具體為：

(6.1)根據水平和垂直兩個方向字符像素的分布進行字符圖像的歸一化，計 算文字的質心G_I和G_J：

GI=Σi=ABΣj=LRi·c(i,j)/Σi=ABΣj=LRc(i,j)---(24)]]>

GJ=Σi=ABΣj=LRj·c(i,j)/Σi=ABΣj=LRc(i,j)---(25)]]>

其中，用i，j表示字符圖像各個像素點的縱坐標與橫坐標，用A和B表示字 符圖像自下而上的坐標值，用L和R表示字符圖像從左到右的坐標值；c(i，j)為 1時表示該像素為白像素(即字符像素)，為0時表示該像素點為背景；再計算 水平和垂直方向的散度σ_I和σ_J：

σI2=Σi=AB{Σj=LRc(i,j)}·(i-GI)2/Σi=ABΣj=LRc(i,j)---(26)]]>

σJ2=Σi=AB{Σj=LRc(i,j)}·(j-GJ)2/Σi=ABΣj=LRc(i,j)---(27)]]>

按比例將字符線性放大或縮小成32×16像素大小、規定散度的點陣，背景為 黑色，字符為白色；(6.2)歸一化后的二值字符圖像實質上是一個32×16的 點陣，將字符點陣的每個像素點作為一個網格，提取字符的原始粗網格特征；

(7)設計BP神經網絡針對不同字符分別設計漢字網絡、字母網絡、字 母數字網絡和數字網絡，BP神經網絡包括輸入層、輸出層和隱藏層；其中輸 入層對歸一化為32×16點陣大小的字符，以每個像素點為一個網格，則輸入 層神經元個數為512；輸出層每個神經元代表一個目標種類，各網絡輸出神經 元個數分別為：漢字網絡51個，字母網絡25個，字母數字網絡34個，數字 網絡10個；確定隱含層神經元個數計算公式如下：

New_num=in_num×(out_num+1)+1---(28)]]>

其中，New_num代表隱層神經元個數，in_num代表輸入層神經元個數，out_num 代表輸出層神經元個數；在隱含層和輸出層，激活函數選用Sigmoid函數，形 式如下：

logistic函數屬于S型函數，其中v_j(n)是神經元j的誘導局部域，且根據非線 性，的范圍在[0，1]之內，通過調整a，b，c的值來改變函數飽和區， 從而調整輸出；設置初始權值的范圍，初始權值是(-1，1)之間的隨機數，選取 權值的量級為其中s₁為第一層神經元的個數；采用變化的自適應學習速 率保證BP神經網絡快速穩定地收斂，變化的自適應學習速率的調整公式是：

其中，η(k)表示學習速率，SSE(k)表示訓練的誤差。