[發明專利]基于YOLO目標檢測算法和光流追蹤算法融合的機動車軌跡提取方法

在審

• 申請號: 201910681920.7
• 申請日: 2019-07-26
• 公開（公告）號: CN110570456A
• 公開（公告）日: 2019-12-13
• 發明（設計）人: 彭云龍;周竹萍;張蔚;黃銳;李磊;孫攀;林天嬋;楊旭;裘夢琪;梅亞嵐
• 申請（專利權）人: 南京理工大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/70
• 代理公司: 32273 南京蘇創專利代理事務所(普通合伙)
• 代理人: 張艷

本發明涉及一種基于YOLO目標檢測算法和光流追蹤算法融合的機動車軌跡提取方法，包括：S1獲取視頻，S2獲取機動車位置信息，S3獲取機動車車光流信息，S4若檢測到機動車，計算當前幀下的機動車位置區域集合，進入S5，否則進入S6，S5構造當前幀下的機動車位置區域掩模圖像：所述當前幀f+1的機動車位置區域掩模圖像是指僅包含機動車位置區域信息的圖像，也即各檢測到的機動車最小外接矩形區域的彩色圖像予以保留，其余部分替換為白色或黑色，進入S7。本發明融合深度學習網絡YOLO對追蹤對象進行初步定位，提高了角點匹配速度，減少了計算量，加快了光流追蹤的效率與準確性。

技術領域

本發明涉及機動車檢測與跟蹤領域，具體涉及一種基于YOLO目標檢測算法和光流追蹤算法融合的機動車軌跡提取方法。

背景技術

運動目標檢測與跟蹤技術是計算機視覺領域中應用的核心技術，涉及圖像處理、模式識別、人工智能等多技術領域，在交通導航、ITS、導彈預警、自動監控等多方面發揮著重要作用。

隨著近年來人工智能、機器學習浪潮的興起，涌現了大量新穎高效的檢測和追蹤方法，因此，本發明在此基礎上提出一種基于YOLO目標檢測算法和光流追蹤算法融合的機動車軌跡提取方法，為自動駕駛、機動車的違章監控等發揮實際作用。

深度學習網絡YOLO是一個可以一次性預測多個目標對象位置和類別的卷積神經網絡，能夠實現端到端的目標檢測和識別，其最大的優勢就是速度快。相比于CNN、FasterRCNN等卷積神經網絡，YOLO算法沒有選擇滑動窗口(silding window)或提取proposal的方式訓練網絡，而是直接選用整張圖片訓練模型，這使得YOLO網絡對目標和背景區域擁有更加高效的判別能力，同時也大大提高了檢測速度。

光流是空間運動物體在觀察成像平面上的像素運動的瞬時速度，是利用圖像序列中像素在時間域上的變化以及相鄰幀之間的相關性來找到上一幀跟當前幀之間存在的相應關系，從而計算出相鄰幀之間物體的運動信息的一種方法。光流算法在目標跟蹤方面表現優異，尤其是實時計算速度上。然而，光流算法得到的軌跡“trajectory”，還包括一些發生了漂移的點，所以，得到跟蹤點之后要進行一些后期的處理，同時，光流跟蹤算法還需要滿足(1)亮度恒定；(2)時間連續或者是運動是“小運動”；(3)空間一致，臨近點有相似運動，保持相鄰。這些限制也導致跟蹤過程中很容易出現丟失的問題。這些都大大限制了光流在機動車跟蹤領域的應用。

目前，將這兩種應用于機動車檢測與跟蹤領域還是空白，傳統的機動車檢測與跟蹤方便簡單、落后，導致容易跟蹤丟失，數據無法完整捕捉。

發明內容

為了解決上述技術問題，本發明提供一種基于YOLO目標檢測算法和光流追蹤算法融合的機動車軌跡提取方法，利用深度學習網絡YOLO不僅提高了檢測效率，實現對機動車的實時追蹤，同時在一定程度上解決了目標丟失的情況發生，其具體技術方案如下：

基于YOLO目標檢測算法和光流追蹤算法融合的機動車軌跡提取方法，包括以下步驟：

步驟1、基于路段或交叉口獲取視頻：通過攝像設備采集路段或交叉口視頻；

步驟2、獲取機動車位置信息：基于步驟1所采集的路段或者交叉口視頻序列，利用深度學習檢測網絡YOLO檢測機動車，并記錄各檢測機動車的位置和最小外接矩形：基于當前幀，檢測得到當前幀下的機動車位置區域集合其中：f表示當前幀數，n表示當前幀f下機動車編號，集合各元素包含當前幀f下編號為n的機動車最小外接矩形在像素坐標系下左上角坐標及長寬

步驟3、獲取機動車光流信息：基于步驟2所獲取的機動車位置區域集合檢測各區域的Harris角點，并以此作為光流追蹤起點：針對當前幀獲取的機動車位置區域集合，對各個區域塊進行Harris角點檢測，獲取N個最符合要求的特征點，以此作為光流追蹤起點，得到當前幀下角點集合其中表示當前幀f下編號為i的機動車所包含的N個角點坐標；