[發(fā)明專利]基于YOLO目標檢測算法和光流追蹤算法融合的機動車軌跡提取方法

在審

• 申請?zhí)枺?/td>: 201910681920.7
• 申請日: 2019-07-26
• 公開（公告）號: CN110570456A
• 公開（公告）日: 2019-12-13
• 發(fā)明（設(shè)計）人: 彭云龍;周竹萍;張蔚;黃銳;李磊;孫攀;林天嬋;楊旭;裘夢琪;梅亞嵐
• 申請（專利權(quán)）人: 南京理工大學(xué)
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/70
• 代理公司: 32273 南京蘇創(chuàng)專利代理事務(wù)所(普通合伙)
• 代理人: 張艷

本發(fā)明涉及一種基于YOLO目標檢測算法和光流追蹤算法融合的機動車軌跡提取方法，包括：S1獲取視頻，S2獲取機動車位置信息，S3獲取機動車車光流信息，S4若檢測到機動車，計算當前幀下的機動車位置區(qū)域集合，進入S5，否則進入S6，S5構(gòu)造當前幀下的機動車位置區(qū)域掩模圖像：所述當前幀f+1的機動車位置區(qū)域掩模圖像是指僅包含機動車位置區(qū)域信息的圖像，也即各檢測到的機動車最小外接矩形區(qū)域的彩色圖像予以保留，其余部分替換為白色或黑色，進入S7。本發(fā)明融合深度學(xué)習(xí)網(wǎng)絡(luò)YOLO對追蹤對象進行初步定位，提高了角點匹配速度，減少了計算量，加快了光流追蹤的效率與準確性。

技術(shù)領(lǐng)域

本發(fā)明涉及機動車檢測與跟蹤領(lǐng)域，具體涉及一種基于YOLO目標檢測算法和光流追蹤算法融合的機動車軌跡提取方法。

背景技術(shù)

運動目標檢測與跟蹤技術(shù)是計算機視覺領(lǐng)域中應(yīng)用的核心技術(shù)，涉及圖像處理、模式識別、人工智能等多技術(shù)領(lǐng)域，在交通導(dǎo)航、ITS、導(dǎo)彈預(yù)警、自動監(jiān)控等多方面發(fā)揮著重要作用。

隨著近年來人工智能、機器學(xué)習(xí)浪潮的興起，涌現(xiàn)了大量新穎高效的檢測和追蹤方法，因此，本發(fā)明在此基礎(chǔ)上提出一種基于YOLO目標檢測算法和光流追蹤算法融合的機動車軌跡提取方法，為自動駕駛、機動車的違章監(jiān)控等發(fā)揮實際作用。

深度學(xué)習(xí)網(wǎng)絡(luò)YOLO是一個可以一次性預(yù)測多個目標對象位置和類別的卷積神經(jīng)網(wǎng)絡(luò)，能夠?qū)崿F(xiàn)端到端的目標檢測和識別，其最大的優(yōu)勢就是速度快。相比于CNN、FasterRCNN等卷積神經(jīng)網(wǎng)絡(luò)，YOLO算法沒有選擇滑動窗口(silding window)或提取proposal的方式訓(xùn)練網(wǎng)絡(luò)，而是直接選用整張圖片訓(xùn)練模型，這使得YOLO網(wǎng)絡(luò)對目標和背景區(qū)域擁有更加高效的判別能力，同時也大大提高了檢測速度。

光流是空間運動物體在觀察成像平面上的像素運動的瞬時速度，是利用圖像序列中像素在時間域上的變化以及相鄰幀之間的相關(guān)性來找到上一幀跟當前幀之間存在的相應(yīng)關(guān)系，從而計算出相鄰幀之間物體的運動信息的一種方法。光流算法在目標跟蹤方面表現(xiàn)優(yōu)異，尤其是實時計算速度上。然而，光流算法得到的軌跡“trajectory”，還包括一些發(fā)生了漂移的點，所以，得到跟蹤點之后要進行一些后期的處理，同時，光流跟蹤算法還需要滿足(1)亮度恒定；(2)時間連續(xù)或者是運動是“小運動”；(3)空間一致，臨近點有相似運動，保持相鄰。這些限制也導(dǎo)致跟蹤過程中很容易出現(xiàn)丟失的問題。這些都大大限制了光流在機動車跟蹤領(lǐng)域的應(yīng)用。

目前，將這兩種應(yīng)用于機動車檢測與跟蹤領(lǐng)域還是空白，傳統(tǒng)的機動車檢測與跟蹤方便簡單、落后，導(dǎo)致容易跟蹤丟失，數(shù)據(jù)無法完整捕捉。

發(fā)明內(nèi)容

為了解決上述技術(shù)問題，本發(fā)明提供一種基于YOLO目標檢測算法和光流追蹤算法融合的機動車軌跡提取方法，利用深度學(xué)習(xí)網(wǎng)絡(luò)YOLO不僅提高了檢測效率，實現(xiàn)對機動車的實時追蹤，同時在一定程度上解決了目標丟失的情況發(fā)生，其具體技術(shù)方案如下：

基于YOLO目標檢測算法和光流追蹤算法融合的機動車軌跡提取方法，包括以下步驟：

步驟1、基于路段或交叉口獲取視頻：通過攝像設(shè)備采集路段或交叉口視頻；

步驟2、獲取機動車位置信息：基于步驟1所采集的路段或者交叉口視頻序列，利用深度學(xué)習(xí)檢測網(wǎng)絡(luò)YOLO檢測機動車，并記錄各檢測機動車的位置和最小外接矩形：基于當前幀，檢測得到當前幀下的機動車位置區(qū)域集合其中：f表示當前幀數(shù)，n表示當前幀f下機動車編號，集合各元素包含當前幀f下編號為n的機動車最小外接矩形在像素坐標系下左上角坐標及長寬

步驟3、獲取機動車光流信息：基于步驟2所獲取的機動車位置區(qū)域集合檢測各區(qū)域的Harris角點，并以此作為光流追蹤起點：針對當前幀獲取的機動車位置區(qū)域集合，對各個區(qū)域塊進行Harris角點檢測，獲取N個最符合要求的特征點，以此作為光流追蹤起點，得到當前幀下角點集合其中表示當前幀f下編號為i的機動車所包含的N個角點坐標；