[發(fā)明專利]一種基于機(jī)器視覺的前方車輛行為識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010940104.6
• 申請(qǐng)日: 2020-09-09
• 公開（公告）號(hào): CN112052802A
• 公開（公告）日: 2020-12-08
• 發(fā)明（設(shè)計(jì)）人: 王孝蘭;曹佳祺;王巖松;王碩
• 申請(qǐng)（專利權(quán)）人: 上海工程技術(shù)大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/04;G06T5/20;G06T7/246
• 代理公司: 上海統(tǒng)攝知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 31303
• 代理人: 杜亞

本發(fā)明涉及一種基于機(jī)器視覺的前方車輛行為識(shí)別方法，首先采用改進(jìn)的tiny?YOLOv3算法進(jìn)行前方車輛檢測(cè)，當(dāng)檢測(cè)到目標(biāo)車輛后，再基于KCF算法、Kalman濾波算法與匈牙利匹配算法對(duì)目標(biāo)車輛進(jìn)行跟蹤，最后根據(jù)前方車輛檢測(cè)與跟蹤結(jié)果構(gòu)建LSTM，對(duì)前方車輛進(jìn)行行為識(shí)別；改進(jìn)的tiny?YOLOv3算法是指將tiny?YOLOv3算法的特征提取網(wǎng)絡(luò)改進(jìn)為Inception模塊，構(gòu)建特征金字塔網(wǎng)絡(luò)，并將檢測(cè)尺度增加到3個(gè)。本發(fā)明的一種基于機(jī)器視覺的前方車輛行為識(shí)別方法，應(yīng)用在智能車輛上，能識(shí)別前方目標(biāo)車輛的多種駕駛行為且具有良好的實(shí)時(shí)性和準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明屬于機(jī)器視覺技術(shù)領(lǐng)域，涉及一種基于機(jī)器視覺的前方車輛行為識(shí)別方法，應(yīng)用在智能車輛上，能識(shí)別前方目標(biāo)車輛的多種駕駛行為且具有良好的實(shí)時(shí)性和準(zhǔn)確性。

背景技術(shù)

隨著智能技術(shù)的發(fā)展與人們對(duì)出行方式越來(lái)越高的要求，智能車輛成為當(dāng)前的研究熱點(diǎn)之一。智能車輛對(duì)前方車輛的檢測(cè)、跟蹤與行為識(shí)別可以給智能車輛提供實(shí)時(shí)的道路環(huán)境信息，并識(shí)別目標(biāo)車輛的駕駛意圖，讓智能車輛的決策控制層可以針對(duì)當(dāng)前道路環(huán)境做出合適的規(guī)劃和避障動(dòng)作，減少交通事故的發(fā)生，具有重要意義。

前方車輛檢測(cè)是車輛跟蹤和意圖識(shí)別的首要環(huán)節(jié)。在車輛檢測(cè)方面，傳統(tǒng)的方法包括根據(jù)外觀特征的檢測(cè)方法和背景差分法等，但僅適用于攝像機(jī)固定視角或靜態(tài)視頻檢測(cè)，檢測(cè)環(huán)境受限。近年來(lái)，該領(lǐng)域大多利用梯度方向直方圖(Histogram of OrientedGradient，HOG)和haar-like等特征基于神經(jīng)網(wǎng)絡(luò)或機(jī)器學(xué)習(xí)的方法進(jìn)行檢測(cè)，但此類方法計(jì)算復(fù)雜，難以兼顧實(shí)時(shí)性和準(zhǔn)確性。

目標(biāo)車輛跟蹤方面，常用的有Kalman濾波器和mean-shift等傳統(tǒng)跟蹤算法、深度學(xué)習(xí)方法以及基于相關(guān)濾波的方法來(lái)承接車輛檢測(cè)結(jié)果，實(shí)現(xiàn)目標(biāo)跟蹤，并連接車輛行為識(shí)別模塊。傳統(tǒng)跟蹤方法的跟蹤準(zhǔn)確率會(huì)受視頻圖像中遮擋、背景干擾和光照變化等因素影響，從而出現(xiàn)目標(biāo)丟失、跟蹤失敗等情況，穩(wěn)定性較差。基于深度學(xué)習(xí)如SiamFC算法、循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)、卷積神經(jīng)網(wǎng)絡(luò)(CNN)等對(duì)目標(biāo)信息建模，具有較高的跟蹤準(zhǔn)確率，但實(shí)時(shí)性還有待提升。基于相關(guān)濾波的方法如基于核相關(guān)濾波算法和TLD跟蹤算法等，實(shí)時(shí)性較好，但未能解決目標(biāo)遮擋與尺度改變等問(wèn)題。

車輛行為識(shí)別部分，常用如BP神經(jīng)網(wǎng)絡(luò)、隱馬爾科夫模型(HMM)、支持向量機(jī)(SVM)、隨機(jī)森林決策法、貝葉斯網(wǎng)絡(luò)等方法對(duì)智能車周圍車輛的駕駛意圖以及駕駛行為進(jìn)行判斷和識(shí)別。上述方法各有優(yōu)勢(shì)，但對(duì)車輛長(zhǎng)期行為識(shí)別的準(zhǔn)確率均較差。隨著相關(guān)技術(shù)發(fā)展，基于深度學(xué)習(xí)的行為識(shí)別方法具有更好的識(shí)別效果。其中，長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)是一種基于時(shí)間循環(huán)的神經(jīng)網(wǎng)絡(luò)，用遞歸方式處理序列數(shù)據(jù)并提取時(shí)序特征，更適用于車輛的行為識(shí)別。

發(fā)明內(nèi)容

本發(fā)明的目的是解決現(xiàn)有技術(shù)中存在的上述問(wèn)題，提供一種基于機(jī)器視覺的前方車輛行為識(shí)別方法。為了增加車輛行為識(shí)別的準(zhǔn)確率，本發(fā)明在車輛檢測(cè)步驟改進(jìn)tiny-YOLOv3算法，把原有算法的特征提取網(wǎng)絡(luò)改進(jìn)為基于Inception模塊，拓展網(wǎng)絡(luò)寬度并改進(jìn)提取特征的能力，同時(shí)搭建特征金字塔網(wǎng)絡(luò)，利用上采樣方法融合高層特征與低層特征，把改進(jìn)檢測(cè)網(wǎng)絡(luò)的尺度增加到3個(gè)，給較小檢測(cè)目標(biāo)分配更適合的檢測(cè)尺度；為解決前方車輛被遮擋時(shí)跟蹤效果不好的問(wèn)題，在車輛跟蹤步驟基于KCF算法(核相關(guān)濾波算法)，若出現(xiàn)遮擋時(shí)，利用Kalman濾波算法預(yù)測(cè)被擋車輛位置，并用匈牙利匹配算法實(shí)現(xiàn)復(fù)雜環(huán)境下的多個(gè)車輛目標(biāo)長(zhǎng)期跟蹤。為了在提高識(shí)別準(zhǔn)確率的同時(shí)兼顧實(shí)時(shí)性，構(gòu)建LSTM(長(zhǎng)短時(shí)記憶網(wǎng)絡(luò))對(duì)目標(biāo)車輛進(jìn)行行為識(shí)別。

為達(dá)到上述目的，本發(fā)明采用的技術(shù)方案如下：