[發明專利]一種多任務卡口車輛以圖搜圖的系統及方法

有效

• 申請號: 201711393923.8
• 申請日: 2017-12-21
• 公開（公告）號: CN108171136B
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 溫曉岳;田玉蘭;田彥;陳濤;李建元
• 申請（專利權）人: 浙江銀江研究院有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/08
• 代理公司: 杭州之江專利事務所(普通合伙) 33216
• 代理人: 張慧英

本發明涉及一種多任務卡口車輛以圖搜圖的系統及方法，本發明利用深度神經網絡建立多任務定位和多任務特征提取網絡，基于改進的邊緣盒檢測技術以及級聯損失函數的方式訓練定位網絡，分別定位和特征檢測卡口車輛圖像中的車輛，年檢標和車燈三個部位，結合了全局和局部特征，損失函數采用softmax損失和三元組損失函數的損失函數來訓練網絡，最終加權結合局部特征向量和利用神經網絡最后一層全連接層的全局特征向量作為車輛特征進行檢索，檢索采用改進的k?means算法找出K類，然后利用SVM形成哈希函數來進行漢明碼編碼，提高了檢索速度，節省存儲空間。

技術領域

本發明涉及智慧交通領域，尤其涉及一種多任務卡口車輛以圖搜圖的系統及方法。

背景技術

隨著社會發展，智能交通領域中智能交通監控是當前非常重要的一個發展方向，目前我國已在城市道路上部署了大規模數量的電子警察和卡口系統。這些系統能夠實時捕獲車輛高清圖片，并且識別分析出車牌號碼，以及一部分車型信息(如車輛大小，顏色等)。但目前使用的卡口監控系統，車牌號碼識別仍有10％左右的誤識別、漏識別率。更重要的是，對于套牌車或故意遮掩拍照的違法車將無法進行識別。因此，通過車牌號碼之外的車輛特征信息作為一個新的識別條件，從而在現有的交通監控系統找出這部分違法車輛。另一方面，一個城市中的所存儲的卡口車輛圖片往往數量在億級以上，即使將圖片成功轉化成為特征向量，要快速精確的查詢搜索相關特征依然是一大難點。因此本專利的研究這在現今的在現代交通監控和管理中有非常重要的研究意義和應用前景。

《一種基于多特征深度學習的車輛檢測方法及裝置》，申請號為201610952774.3中將車輛灰度信息，邊緣檢測信息作為特征進行訓練來定位車輛，過程較為繁瑣。并且利用三個不同方面的信息來進行定位，并沒有全面包含車輛的信息。

《基于大數據的車輛檢索及裝置》，申請號為201610711333.4中利用多個特征標志區域進行級聯檢索，然而只有多個局部特征，沒有全局的特征信息，并且流程較繁瑣。《一種卡口車輛檢索方法及其系統》，申請號為201610119765.6中采用各特征模塊利用深度學習提取特征做相似度對比，包括你車牌號碼，車標車型，車身顏色，年檢標等，車牌號碼不足以識別車牌遮擋的車輛，并且需要訓練多個網絡，也不具有全局特征。

《基于深度學習的車型識別模型構建方法及車型識別方法》，申請號為201610962720.5中利用深度學習進行車型識別，沒有達到細粒度檢索車輛的程度，不夠精準。

發明內容

本發明為克服上述的不足之處，目的在于提供一種多任務卡口車輛以圖搜圖的系統及方法，本發明利用深度神經網絡建立多任務定位和多任務特征提取網絡，分別定位和特征檢測卡口車輛圖像中的車輛、年檢標和車燈三個部位，結合了全局和局部特征，損失函數采用softmax損失和三元組損失函數的損失函數來訓練網絡，最終加權結合局部特征向量和利用神經網絡最后一層全連接層的全局特征向量作為車輛特征進行檢索，檢索采用改進的k-means算法找出K類，然后利用SVM形成哈希函數來進行漢明碼編碼，提高了檢索速度，節省存儲空間。

本發明是通過以下技術方案達到上述目的：一種多任務卡口車輛以圖搜圖的方法，包括如下步驟：

(1)獲取卡口車輛圖片后對圖片進行處理與分類，并對卡口車輛圖片集進行優化處理得到數據集；

(2)構建并訓練獲得基于深度神經網絡模型的多任務定位網絡，提取車輛圖片中車輛、年檢標、車燈和背景的位置區域信息；構建并訓練獲得基于深度神經網絡模型的多任務特征提取網絡，提取車輛、年檢標、車燈位置區域的圖像特征，獲得車輛特征；

(3)基于車輛特征建立車輛特征的k-means聚類；

(4)利用K個二分類SVM訓練哈希函數，提取樣本特征碼后放入哈希桶中；