[發(fā)明專利]基于特征時序相關(guān)性的自動駕駛視覺感知優(yōu)化方法

有效

• 申請?zhí)枺?/td>: 201910060991.5
• 申請日: 2019-01-22
• 公開（公告）號: CN109934096B
• 公開（公告）日: 2020-12-11
• 發(fā)明（設(shè)計）人: 繆其恒;吳長偉;蘇志杰;孫焱標(biāo);王江明;許煒
• 申請（專利權(quán)）人: 浙江零跑科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州杭誠專利事務(wù)所有限公司 33109
• 代理人: 尉偉敏;楊燕霞

本發(fā)明涉及一種基于特征時序相關(guān)性的自動駕駛視覺感知優(yōu)化方法，包括深度卷積神經(jīng)網(wǎng)絡(luò)檢測架構(gòu)改進(jìn)：添加輸出目標(biāo)自相關(guān)層，輸出目標(biāo)時序一致性評價指標(biāo)，作為可選網(wǎng)絡(luò)分支輸出；目標(biāo)檢測訓(xùn)練數(shù)據(jù)庫改進(jìn)方法；離線訓(xùn)練過程改進(jìn)方法包括深度卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練損失函數(shù)改進(jìn)：添加自相關(guān)損失函數(shù)，并輔以一定權(quán)重系數(shù)加入網(wǎng)絡(luò)總損失函數(shù)，參與主干特征部分訓(xùn)練。本發(fā)明在訓(xùn)練和推理階段對檢測算法輸出結(jié)果的穩(wěn)定性進(jìn)行優(yōu)化，有效提升視覺目標(biāo)檢測結(jié)果分類以及位置回歸的穩(wěn)定性，從而改進(jìn)相關(guān)目標(biāo)距離以及相對運(yùn)動估算的準(zhǔn)確性與穩(wěn)定性，為自動駕駛應(yīng)用提供更加準(zhǔn)確與有效的目標(biāo)感知結(jié)果，提升整體視覺感知算法性能，滿足汽車自動駕駛的需求。

技術(shù)領(lǐng)域

本發(fā)明涉及汽車自動駕駛視覺感知技術(shù)領(lǐng)域，尤其涉及一種基于特征時序相關(guān)性的自動駕駛視覺感知優(yōu)化方法。

背景技術(shù)

智能化是如今汽車行業(yè)發(fā)展的重要趨勢之一，視覺系統(tǒng)在汽車主動安全領(lǐng)域應(yīng)用越來越廣。單雙目前視、后視以及360度環(huán)視系統(tǒng)已經(jīng)成為了現(xiàn)有高級輔助駕駛系統(tǒng)的主流感知器件。現(xiàn)有此類視覺感知系統(tǒng)可以提供結(jié)構(gòu)化道路信息(各類型車道線等)以及特定種類的目標(biāo)信息(各類交通標(biāo)識、車輛、行人等)。基于上述感知輸出結(jié)果衍生出相應(yīng)的預(yù)警系統(tǒng)以及主動安全系統(tǒng)。現(xiàn)有商用車載視覺系統(tǒng)感知功能主要包括行人、車輛、交通標(biāo)識等目標(biāo)檢測與識別。傳統(tǒng)檢測方法大多基于人工設(shè)計的圖像特征描述，通過adaboost或SVM等分類器以滑窗搜索的方式實(shí)現(xiàn)。此類方法的效果取決于圖像特征描述算子的設(shè)計，并且應(yīng)用的魯棒性以及可移植性較差。其局限性以及應(yīng)用難點(diǎn)在于：比如行人、車輛、交通標(biāo)識等不同類別的目標(biāo)檢測需要設(shè)計不同的圖像特征描述算子，白天夜間的算法目標(biāo)檢測架構(gòu)與方法需要區(qū)分調(diào)整等。

現(xiàn)有深度卷積神經(jīng)網(wǎng)絡(luò)技術(shù)也在經(jīng)歷飛速的變革。網(wǎng)絡(luò)任務(wù)從最初的簡單分類識別應(yīng)用，發(fā)展到現(xiàn)在的檢測、分割、光流以及立體視覺等各領(lǐng)域的應(yīng)用；網(wǎng)絡(luò)模型從復(fù)雜冗余的大型網(wǎng)絡(luò)發(fā)展到現(xiàn)在的精簡高效的小型網(wǎng)絡(luò)；網(wǎng)絡(luò)應(yīng)用場景從高功耗服務(wù)器端應(yīng)用發(fā)展到低功耗前端嵌入式應(yīng)用。基于深度卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法框架已開始應(yīng)用于部分前端平臺，如安防監(jiān)控、智能交通、智能手機(jī)等。對于智能駕駛領(lǐng)域內(nèi)的目標(biāo)檢測應(yīng)用，其實(shí)時性與魯棒性要求更高。就深度學(xué)習(xí)檢測架構(gòu)而言，現(xiàn)有方法的側(cè)重點(diǎn)在于提升目標(biāo)的檢出率(包括提升檢測架構(gòu)的覆蓋目標(biāo)尺度范圍與類別范圍)而忽略檢出目標(biāo)時序上的一致性。現(xiàn)有基于視覺的深度學(xué)習(xí)目標(biāo)檢測算法，其檢測結(jié)果時序穩(wěn)定性與一致性仍存在如下缺陷：相鄰幀目標(biāo)框的檢測結(jié)果存在不一致(即使圖片光照無肉眼可見偏差)；同一目標(biāo)的位置回歸結(jié)果時序不穩(wěn)定(由于角度、光照、位置等多種因素影響)。上述問題會導(dǎo)致基于視覺的目標(biāo)距離以及相對運(yùn)動測量波動較大，從而影響后續(xù)的相關(guān)應(yīng)用算法，無法滿足自動駕駛應(yīng)用需求(尤其是高速工況)。而目前主流基于機(jī)器學(xué)習(xí)的檢測算法訓(xùn)練均基于時序離散樣本，未考慮時序相關(guān)性對目標(biāo)分類以及回歸輸出一致性的影響。

發(fā)明內(nèi)容

本發(fā)明為了解決上述技術(shù)問題，提供一種基于特征時序相關(guān)性的自動駕駛視覺感知優(yōu)化方法，在訓(xùn)練和推理階段對檢測算法輸出結(jié)果的穩(wěn)定性進(jìn)行優(yōu)化，有效提升視覺目標(biāo)檢測結(jié)果分類以及位置回歸的穩(wěn)定性，從而改進(jìn)相關(guān)目標(biāo)距離以及相對運(yùn)動估算的準(zhǔn)確性與穩(wěn)定性，為自動駕駛應(yīng)用提供更加準(zhǔn)確與有效的目標(biāo)感知結(jié)果，從而提升整體視覺感知算法性能，滿足汽車自動駕駛的需求。