[發明專利]一種基于語義推理和時空記憶更新的車輛檢測方法

有效

• 申請號: 201710539094.3
• 申請日: 2017-07-04
• 公開（公告）號: CN107292282B
• 公開（公告）日: 2019-10-11
• 發明（設計）人: 王芳芳;南智雄;魏平;徐林海;孫宏濱;鄭南寧
• 申請（專利權）人: 西安交通大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T17/00
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 陸萬壽

本發明公開了一種基于語義推理和時空記憶更新的車輛檢測方法，首先建立3D交通場景模型，將輸入圖像與3D空間關聯，確定3D候選車輛搜索區域；二值化車輛搜索區域，采用快速掃描線算法產生候選車輛；在2D圖像和3D空間之間進行語義推理、交互驗證，充分利用先驗知識、車輛之間的約束關系、事物之間的依賴關系、車輛外觀信息，對候選車輛進行濾波處理；利用時空一致性提高車輛檢準率和魯棒性。本發明的候選車輛生成過程在3D空間中進行，這個操作能放大距離較遠的車輛，有效提高對遠距離小尺寸車輛的檢測率，時空記憶更新機制能減少置信度較高車輛偶爾出現的漏檢，這也對提高檢測率很有幫助，語義推理機制使本發明的誤檢率降低。

技術領域

本發明屬于計算機視覺領域，具體涉及一種基于語義推理和時空記憶更新的車輛檢測方法。

背景技術

車輛檢測是完成車輛無人駕駛及輔助駕駛的關鍵技術。相機、激光雷達、毫米波雷達等是常見的車輛檢測傳感器。相比而言，相機成本低、圖像信息豐富、深度學習等圖像處理技術日益成熟，基于視覺技術的車輛檢測成為當前研究及開發熱點。

縱觀車輛檢測方法的研究歷程，傳統模式“訓練+分類”如HOG+SVM、Haar-like+Adaboost，DPM+LSVM等在一定程度上達到了良好的檢測率。但是，N.Dalal 2005提出的HOG+SVM方法通常會產生大量的誤檢；J.M.Park 2010提出的Haar-like+Adaboost方法用15個haar-like特征訓練了一個Adaboost分類器，該方法對動態變化的場景及光照變化適應性差；P.F.Felzenszwalb 2010提出的DPM+LSVM方法把一個物體建模為幾個相互關聯的子模塊，該檢測方法雖效果很好，但耗時較大，難以做到實時檢測；并且，由于圖像中遠處的車輛所占據的像素較少，模塊化結構不明顯，DPM+LSVM方法對遠處車輛的檢測效果不佳。

傳統的“訓練+分類”方法僅利用了2D圖像平面信息，沒有將豐富的3D交通場景信息應用到車輛檢測中；另外，基于滑動窗搜索的策略將候選車輛看作孤立的像素塊，缺乏語義推理。因此，充分利用3D交通場景信息進行車輛檢測的方法不斷涌現。D.Hoiem 2008提出建立一個3D交通場景模型，充分利用相機視角、車輛、路面之間的依賴關系，提高車輛檢測的精度。C.Wojek 2013把車輛檢測與3D幾何推理結合起來，極大提高了檢測效果。J.Pan2013生成并估計了一個最佳3D場景模型，并利用該模型提高車輛檢測精度。然而，以上方法對3D交通場景的描述要么過于簡單，要么對模型的推理過程過于復雜。

發明內容

本發明的目的在于克服上述不足，提供一種基于語義推理和時空記憶更新的車輛檢測方法，能夠適應復雜且動態變化的交通場景，對圖像中不同類型、不同尺寸的車輛均可進行實時在線檢測。

為了達到上述目的，本發明包括以下步驟：

步驟一，根據路面模型R、車輛模型V和相機模型C，建立3D交通場景模型；

步驟二，根據路面模型R并結合相機模型C，在3D空間中確定候選車輛搜索區域；

步驟三，根據自適應多閾值二值化方法，確定二值化候選車輛搜索區域；

步驟四，利用快速掃描線的方法在二值化候選車輛搜索區域上搜索并生成候選車輛；

步驟五，分析車輛之間的語義關系確認候選車輛，將候選車輛投影到2D圖像上，利用候選車輛的外觀特征對候選車輛進行進一步濾波處理；

步驟六，根據視頻中檢測框連續穩定出現的幀數確定車輛的置信度，并依據車輛的高置信度及時空記憶法降低車輛檢測的漏檢率；

步驟七，輸出結果。

所述步驟一中，3D交通場景模型定義為：

M＝{R,V,C}