[發明專利]基于級聯卷積神經網絡的前車車輛信息結構化輸出方法

有效

• 申請號: 201510319846.6
• 申請日: 2015-06-11
• 公開（公告）號: CN105046196B
• 公開（公告）日: 2018-04-17
• 發明（設計）人: 韓紅;徐志敏;王偉;張鼎
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06K9/66
• 代理公司: 陜西電子工業專利中心61205
• 代理人: 王品華,張問芬

技術領域

本發明屬于圖像處理技術領域，特別涉及一種車輛信息結構化輸出方法，可用于智能監控、智能交通、駕駛員輔助系統和交通信息檢測。

背景技術

計算機視覺中的車輛檢測識別是指僅利用攝像機的圖像輸入來獲取車輛信息，其是一門應用前景十分廣闊的技術。基于計算機視覺的車輛檢測系統硬件成本較低，能感知到豐富的環境信息，但受環境變化影響大，對光照條件的變化比較敏感。車輛信息檢測識別在多個領域都有較好的應用前景，但是由于車輛的多樣性，背景的混雜以及天氣影響，光照條件，自身遮擋等多方面的因素導致車輛檢測識別在目前并沒有通用的、穩定的解決方案。

目前，基于計算機視覺的車體、車牌、車標的檢測識別都分別有各自不同的方法，這些方法大多都是利用滑動窗口在檢測區域掃描并提取人工構造的特征，根據人工提取到的特征進行識別。其中：

基于計算機視覺的車體檢測方法，主要是提取車體的對稱性、紋理、邊緣、顏色、陰影等具有一定的可識別性的特征，并利用這些特征訓練分類器來檢測車體，這些方法對環境、光照，及圖像的拍攝質量要求高，不適用于一般場景。

基于計算機視覺的車牌檢測、識別方法，首先要檢測到精確的車牌區域，然后依據光學字符識別OCR技術進行車牌識別。目前對于車牌的檢測，主要是利用車牌的顏色、紋理、邊緣等特征和形態學方法對檢測區域進行滑動窗口掃描。這種方法的不足是對環境要求較高，且算法復雜，處理時間過長。

基于計算機視覺的車標檢測、識別方法，主要是先利用邊緣檢測、模板濾波、紋理特征等進行車標定位，然后利用支持向量機SVM、自適應增強Adaboost等基于統計分類的方法構造分類器進行識別。其缺點是對待檢測圖像的分辨率要求較高，定位時間長，識別率不高。

發明內容

本發明的目的在于針對上述已有技術的不足，提出了一種基于級聯卷積神經網絡的前車車輛信息結構化輸出方法，以減小環境、光照對穩定性的影響，有效提高車輛信息的檢測和識別的正確率。

為實現上述目的，本發明的技術方案包括如下步驟：

(1)拍攝不同場景、環境、光照下的總時長不少于10小時或最終圖片不少于20萬張的前車車輛行駛的視頻及圖片，用這些數據圖片構成最初始樣本集，隨機選擇其中約5％的圖片標注出其中的車體位置，車牌位置，車標位置及車標類型；

(2)利用二值范數梯度BING方法對所有標注了車體的圖片進行訓練，得到訓練好的參數v和支持向量機模型SVM；

(3)分別訓練車體、車牌、車標的卷積神經網絡：

(3a)利用訓練好的參數v和支持向量機模型SVM在所有未標注的圖片上生成車體的候選區域，選擇其中的車體區域，用該車體區域和已標注的車體樣本作為車體正樣本，將其余非車體的候選區域作為車體負樣本；用所有車體的正、負樣本計算車體樣本均值M₁，使用車體的正、負樣本和樣本均值M₁訓練車體的卷積神經網絡CNN₁；

(3b)利用選擇性搜索selective search方法在車體區域上生成車牌候選區域，選擇其中的車牌區域，用該車牌區域和已標注的車牌樣本作為車牌正樣本，將其余非車牌的候選區域作為車牌負樣本；用所有車牌的正、負樣本計算車牌樣本均值M₂，使用車牌的正、負樣本和樣本均值M₂訓練車牌的卷積神經網絡CNN₂；

(3c)利用選擇性搜索selective search方法在車牌鄰域內生成車標的候選區域，選擇其中的車標區域，用該車標區域和已標注的車標樣本作為車標正樣本，將其余非車標的候選區域作為車標負樣本；用所有車標的正、負樣本計算車標樣本均值M₃，使用車標的正、負樣本和樣本均值M₃訓練車標的卷積神經網絡CNN₃；

(4)根據訓練好的卷積神經網絡，判斷出車體區域、顏色，車牌區域、車牌號，車標區域L及車標類別：

(4a)對于給定的待檢測視頻流，依次截取其每一幀，利用訓練好的參數v和支持向量機模型SVM為幀圖像生成待檢測的車體候選區域，將所有待檢測的車體候選區域送入車體的卷積神經網絡CNN₁中，提取待檢測的車體候選區域特征并通過全連接法判斷出該區域的車體區域，將斷定為車體的區域進行合并，得到最終的車體區域B，統計該最終車體區域B的色彩信息得到車體顏色；