[發(fā)明專利]基于深度學(xué)習(xí)與傳統(tǒng)算法結(jié)合的車輛環(huán)境識(shí)別方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201711270959.7
• 申請(qǐng)日: 2017-12-05
• 公開(kāi)（公告）號(hào): CN108021891B
• 公開(kāi)（公告）日: 2020-04-14
• 發(fā)明（設(shè)計(jì)）人: 綦科
• 申請(qǐng)（專利權(quán)）人: 廣州大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06T7/13;G06T7/136
• 代理公司: 北京市盈科律師事務(wù)所 11344
• 代理人: 江錦利

本發(fā)明公開(kāi)的一種基于深度學(xué)習(xí)與傳統(tǒng)算法結(jié)合的車輛環(huán)境識(shí)別方法，其主要包括點(diǎn)云信息和視頻信息采集步驟、視頻信息置信度評(píng)估和點(diǎn)云信息置信度評(píng)估步驟、算法模塊選擇步驟、點(diǎn)云信息和視頻信息整合步驟、目標(biāo)識(shí)別及結(jié)果輸出步驟。本發(fā)明能夠有效提高雷達(dá)和視頻信息處理的精度和可靠性，使車輛環(huán)境識(shí)別的性能得到有效改善。

技術(shù)領(lǐng)域

本發(fā)明涉及車輛主動(dòng)安全領(lǐng)域，尤其涉及一種深度學(xué)習(xí)與傳統(tǒng)算法相結(jié)合的車輛環(huán)境識(shí)別系統(tǒng)和方法。

背景技術(shù)

車輛環(huán)境識(shí)別系統(tǒng)通常使用雷達(dá)及視頻作為主要的感知傳感器，進(jìn)行車道檢測(cè)、車輛行人目標(biāo)識(shí)別等。其中，雷達(dá)的優(yōu)點(diǎn)是探測(cè)目標(biāo)數(shù)據(jù)準(zhǔn)確度高以及能夠獲取目標(biāo)物體速度信息，視頻的優(yōu)點(diǎn)是能夠分辨和“看見(jiàn)”目標(biāo)物體，通過(guò)將兩者優(yōu)勢(shì)互補(bǔ)，可以提高車輛環(huán)境識(shí)別的精度和可靠性。

傳統(tǒng)算法中，雷達(dá)和視頻信息的處理一般通過(guò)濾波、分割、特征提取、匹配、目標(biāo)識(shí)別等步驟，實(shí)現(xiàn)雷達(dá)和視頻數(shù)據(jù)的應(yīng)用。但是，基于傳統(tǒng)算法的數(shù)據(jù)處理技術(shù)的性能會(huì)因?yàn)檐囕v行駛環(huán)境變化有大幅度的波動(dòng)，如陰雨天、逆光、積水、路旁陰影等天氣、照明和路況情況的變化，可能導(dǎo)致諸如：車道線誤檢、車輛行人誤判、可行道路分割錯(cuò)誤等情況，導(dǎo)致車輛環(huán)境識(shí)別的可靠性和可信度降低。

近年來(lái)，深度學(xué)習(xí)在目標(biāo)識(shí)別、車道檢測(cè)、可行道路分割等車輛環(huán)境識(shí)別領(lǐng)域不斷發(fā)展，并取得了較高的識(shí)別精度和可靠性。但是，深度學(xué)習(xí)的不足在于計(jì)算耗時(shí)較長(zhǎng)，如果所有點(diǎn)云數(shù)據(jù)和圖像數(shù)據(jù)都采用深度學(xué)習(xí)技術(shù)進(jìn)行處理，則較難滿足實(shí)時(shí)環(huán)境識(shí)別的要求。

因此，結(jié)合深度學(xué)習(xí)和傳統(tǒng)算法處理雷達(dá)和視頻數(shù)據(jù)，使其實(shí)現(xiàn)有效互補(bǔ)，滿足車輛環(huán)境識(shí)別的精度和實(shí)時(shí)性需求，對(duì)于車輛環(huán)境識(shí)別的性能有重要的改進(jìn)作用。從而，如何合并使用深度學(xué)習(xí)和傳統(tǒng)算法處理雷達(dá)和視頻數(shù)據(jù)就成為一個(gè)重要的技術(shù)環(huán)節(jié)。

發(fā)明內(nèi)容

本發(fā)明的目的是針對(duì)車輛環(huán)境識(shí)別系統(tǒng)中處理雷達(dá)和視頻信息的傳統(tǒng)算法的不足，公開(kāi)一種基于深度學(xué)習(xí)與傳統(tǒng)算法結(jié)合的車輛環(huán)境識(shí)別方法和系統(tǒng)，將深度學(xué)習(xí)技術(shù)引入車輛環(huán)境識(shí)別，對(duì)可信度不同的雷達(dá)和視頻信息采取不同的深度學(xué)習(xí)或傳統(tǒng)算法相結(jié)合的處理方式，以提高信息處理的精度和可靠性，使車輛環(huán)境識(shí)別的性能得到有效改善。

本發(fā)明公開(kāi)的一種基于深度學(xué)習(xí)與傳統(tǒng)算法結(jié)合的車輛環(huán)境識(shí)別方法，包括以下步驟：

點(diǎn)云信息和視頻信息采集：通過(guò)雷達(dá)和攝像頭分別采集車輛環(huán)境的點(diǎn)云信息和視頻信息；

視頻信息置信度評(píng)估：以視頻信息中視頻圖像均方誤差、峰值信噪比、偏色值、干擾度、清晰度、明暗度為參數(shù)設(shè)置視頻信息的置信度函數(shù)進(jìn)行量化評(píng)估，得到視頻信息的置信度；

點(diǎn)云信息置信度評(píng)估：以點(diǎn)云信息中點(diǎn)云噪聲點(diǎn)數(shù)量、點(diǎn)云噪聲點(diǎn)最大偏離度、點(diǎn)云噪聲點(diǎn)平均偏離度，以及點(diǎn)云空洞數(shù)量、點(diǎn)云空洞最大半徑、點(diǎn)云空洞平均半徑為參數(shù)設(shè)置點(diǎn)云信息的置信度函數(shù)進(jìn)行量化評(píng)估，得到點(diǎn)云信息的置信度；

算法模塊選擇：判斷視頻信息/點(diǎn)云信息的置信度大于第一預(yù)定閾值/第二預(yù)定閥值，則將視頻信息/點(diǎn)云信息送入傳統(tǒng)算法模塊進(jìn)行處理，否則，送入深度學(xué)習(xí)模塊進(jìn)行處理；

點(diǎn)云信息和視頻信息整合：對(duì)處理后視頻信息和點(diǎn)云信息進(jìn)行信息融合；

目標(biāo)識(shí)別及結(jié)果輸出：利用融合后的信息進(jìn)行目標(biāo)識(shí)別,并輸出識(shí)別結(jié)果。

進(jìn)一步的，算法模塊選擇步驟中，對(duì)視頻信息的置信度進(jìn)行如下歸一化：

其中，cp是視頻信息歸一化后的置信度評(píng)估值，c1是視頻圖像均方誤差，c2是峰值信噪比，c3是偏色值，c4是干擾度，c5是清晰度，c6是明暗度，wc1,wc2,wc3,wc4,wc5,wc6為權(quán)重系數(shù)，且wc1+wc2+wc3+wc4+wc5+wc6＝1。

進(jìn)一步的，算法模塊選擇步驟中，對(duì)點(diǎn)云信息的置信度進(jìn)行如下歸一化：