[發明專利]基于YOLO目標檢測算法和光流追蹤算法融合的機動車軌跡提取方法

在審

• 申請號: 201910681920.7
• 申請日: 2019-07-26
• 公開（公告）號: CN110570456A
• 公開（公告）日: 2019-12-13
• 發明（設計）人: 彭云龍;周竹萍;張蔚;黃銳;李磊;孫攀;林天嬋;楊旭;裘夢琪;梅亞嵐
• 申請（專利權）人: 南京理工大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/70
• 代理公司: 32273 南京蘇創專利代理事務所(普通合伙)
• 代理人: 張艷

1.基于YOLO目標檢測算法和光流追蹤算法融合的機動車軌跡提取方法，其特征在于：包括以下步驟：

步驟1、基于路段或交叉口獲取視頻：通過攝像設備采集路段或交叉口視頻；

步驟2、獲取機動車位置信息：基于步驟1所采集的路段或者交叉口視頻序列，利用深度學習檢測網絡YOLO檢測機動車，并記錄各檢測機動車的位置和最小外接矩形：基于當前幀，檢測得到當前幀下的機動車位置區域集合其中：f表示當前幀數，n表示當前幀f下機動車編號，集合各元素包含當前幀f下編號為n的機動車最小外接矩形在像素坐標系下左上角坐標及長寬

步驟3、獲取機動車光流信息：基于步驟2所獲取的機動車位置區域集合檢測各區域的Harris角點，并以此作為光流追蹤起點：針對當前幀獲取的機動車位置區域集合，對各個區域塊進行Harris角點檢測，獲取N個最符合要求的特征點，以此作為光流追蹤起點，得到當前幀下角點集合其中表示當前幀f下編號為i的機動車所包含的N個角點坐標；

步驟4、基于步驟2和3獲得的機動車位置信息和光流信息，對下一幀f+1利用深度學習檢測網絡YOLO檢測機動車，若檢測到機動車，則記錄f+1為當前幀，當前幀f+1下的機動車位置區域集合進入步驟5，否則進入步驟6，其中所述光流信息是指角點的位置信息和運動信息，即角點速度及其方向；

步驟5、基于步驟4所獲取的機動車位置區域集合構造當前幀下f+1的機動車位置區域掩模圖像：所述當前幀f+1的機動車位置區域掩模圖像是指僅包含機動車位置區域信息的圖像，也即各檢測到的機動車最小外接矩形區域的彩色圖像予以保留，其余部分替換為白色或黑色，進入步驟7；

步驟6、基于步驟3獲得的角點集合將當前幀f+1作為跟蹤輸入掩模圖像；

步驟7、基于步驟5獲取的掩模圖像及角點信息，利用光流追蹤當前幀f+1下的機動車位置，若在當前幀f+1追蹤到匹配角點，則認定追蹤成功，獲得當前幀f+1下追蹤角點位置集合進入步驟8，否則進入步驟10；

步驟8、基于步驟7獲得的掩模圖像及角點位置集合，利用光流法反向追蹤上一幀f的角點信息，獲得上一幀f的角點位置集合

步驟9、基于步驟8獲得的角點集合計算各角點偏移量Δ，若角點偏移量大于預設閾值μ，即Δ＞μ，認定角點追蹤失敗，進入步驟10，否則進入步驟11；

步驟10、將當前幀f+1與上一幀f機動車位置基于ORB特征點匹配，特征點匹配會得到角點集合；

步驟11、基于上一幀f和當前幀f+1的角點位置集合利用角點位置均值作為各追蹤機動車軌跡點繪制追蹤軌跡，進入步驟12，檢查視頻是否結束；

步驟12、檢測視頻是否結束，若是，則結束追蹤，否則返回步驟4。

2.根據權利要求1所述的基于YOLO目標檢測算法和光流追蹤算法融合的機動車軌跡提取方法，其特征在于：所述步驟9基于角點集合計算各角點偏移量Δ，具體包括以下步驟：

步驟9-1、預定各角點偏移量Δ的閾值μ；

步驟9-2、基于角點集合分別計算機動車i的N個角點偏移量若小于預定偏移量閾值μ，則保留該點，否則刪除該點，直至機動車i的所有角點為空，則進入步驟10。

3.根據權利要求1所述的基于YOLO目標檢測算法和光流追蹤算法融合的機動車軌跡提取方法，其特征在于：所述步驟10將當前幀f+1與上一幀f機動車位置基于ORB特征點匹配，具體包括以下步驟：

步驟10-1、設置匹配相似度閾值λ；

步驟10-2、基于當前幀f+1和上一幀f機動車位置區域掩模圖像利用Fast算法計算特征點；

步驟10-3、基于步驟10-2獲得的特征點，利用BRIEF算法計算特征描述子：所述特征描述子是二進制串形式，如特征點A、B的描述子：

步驟10-4、基于步驟10-3獲得的特征描述子，利用異或操作計算二者相似度；

步驟10-5、基于步驟10-4匹配結果，若大于匹配閾值λ：

將上一幀f機動車位置區域，即機動車最小外接矩形，按照匹配位置平移至當前幀f+1作為機動車位置，以特征點位置均值的形式繪制軌跡，利用當前幀f+1的fast特征點重新作為光流追蹤起點，返回步驟4；

若小于匹配閾值λ：

利用YOLO算法重新檢測機動車，返回步驟2。