[發(fā)明專利]基于目標(biāo)移動(dòng)軌跡預(yù)測(cè)的深度學(xué)習(xí)集成的跟蹤算法

在審

• 申請(qǐng)?zhí)枺?/td>: 202111036205.1
• 申請(qǐng)日: 2021-09-06
• 公開（公告）號(hào): CN113744313A
• 公開（公告）日: 2021-12-03
• 發(fā)明（設(shè)計(jì)）人: 安志勇;申景偉;郝芳靜;李博;謝青松
• 申請(qǐng)（專利權(quán)）人: 山東工商學(xué)院
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246;G06T7/90;G06N3/08
• 代理公司: 北京中創(chuàng)博騰知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11636
• 代理人: 李艷艷

基于目標(biāo)移動(dòng)軌跡預(yù)測(cè)的深度學(xué)習(xí)集成的跟蹤算法，首先讀取視頻幀序列，獲取初始幀圖像；然后初始化目標(biāo)跟蹤位置，利用檢測(cè)算法計(jì)算跟蹤目標(biāo)的語義信息pre_label；計(jì)算出顏色特征平均值模板S；判斷是否能夠啟動(dòng)檢測(cè)算法；接下來根據(jù)t?5幀和t?15幀預(yù)測(cè)目標(biāo)物移動(dòng)方向，篩選出語義為pre_label的k個(gè)潛在目標(biāo)物；最后分別提取K個(gè)目標(biāo)物的三種顏色特征與模板S進(jìn)行相似度計(jì)算，從K個(gè)相似度結(jié)果中選取最大的相似度數(shù)值SD_r，若SD_r＞tp，將此目標(biāo)物跟蹤框?qū)Ω櫧Y(jié)果進(jìn)行糾偏，直至跟蹤結(jié)束。本發(fā)明有效解決跟蹤中由于尺度變換過大、遮擋等情況下造成跟蹤漂移等問題，提高了目標(biāo)跟蹤的魯棒性和準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明屬于目標(biāo)跟蹤技術(shù)領(lǐng)域，具體涉及一種基于目標(biāo)移動(dòng)軌跡預(yù)測(cè)的深度學(xué)習(xí)集成的跟蹤算法。

背景技術(shù)

目標(biāo)跟蹤是計(jì)算機(jī)視覺領(lǐng)域的重要研究方向，得到國(guó)內(nèi)外學(xué)者的關(guān)注，其在智能視頻監(jiān)控、智能交通、公共安全和軍事民用領(lǐng)域有著極大的研究和應(yīng)用價(jià)值。目標(biāo)跟蹤是在一系列變化的視頻序列中持續(xù)定位某個(gè)目標(biāo)。研究出一個(gè)精確度高、魯棒性好的算法一直是計(jì)算機(jī)視覺領(lǐng)域的關(guān)鍵問題。目標(biāo)跟蹤中會(huì)存在著遮擋、尺度變換、光照變化、超出視野范圍、快速移動(dòng)、旋轉(zhuǎn)和背景擾動(dòng)等多種挑戰(zhàn)，其中尺度變換是影響跟蹤性能的一個(gè)重要的因素。

基于深度學(xué)習(xí)的孿生網(wǎng)絡(luò)跟蹤方法具有較高的準(zhǔn)確性以及實(shí)時(shí)性，已成為當(dāng)前跟蹤領(lǐng)域的研究熱點(diǎn)。L Bertinetto等學(xué)者在2016年提出基于全卷積孿生網(wǎng)絡(luò)(Fully-Convolutional Siamese Networks for Object Tracking)的追蹤算法，首次將孿生網(wǎng)絡(luò)用于目標(biāo)跟蹤上，獲得了較高的跟蹤速度和跟蹤精度。從后利用孿生網(wǎng)絡(luò)的跟蹤算法如雨后春筍一般涌現(xiàn)。Bo Li等學(xué)者在2018年提出了基于孿生候選區(qū)域網(wǎng)絡(luò)的高性能跟蹤算法(High Performance Visual Tracking with Siamese Region Proposal Network),將特征提取的孿生子網(wǎng)絡(luò)(Siamese subnetwork)和候選區(qū)域生成網(wǎng)絡(luò)(region proposalsubnetwork)結(jié)合到一起。目標(biāo)檢測(cè)算法分為one-stage和two-stage，one-stage檢測(cè)算法包括Yolo，SSD等。2018年Joseph Redmon等人提出了最新的YOLOv3算法，首先搭建并訓(xùn)練出了最新的Darknet-53模型，該模型借鑒了Res-Net的殘差結(jié)構(gòu)和FPN(Feature PyramidNetworks)的網(wǎng)絡(luò)結(jié)構(gòu)。使得檢測(cè)算法有了較高的精度。

為了應(yīng)對(duì)目標(biāo)跟蹤中由于目標(biāo)尺度變化過大、發(fā)生遮擋等問題而導(dǎo)致的跟蹤丟失、漂移等問題，本發(fā)明提出將檢測(cè)算法和跟蹤算法相融合，根據(jù)跟蹤目標(biāo)移動(dòng)軌跡預(yù)測(cè)出潛在目標(biāo)物，后充分利用歷史幀跟蹤結(jié)果、顏色特征計(jì)算出用于糾偏的跟蹤目標(biāo)，本發(fā)明具有較高的跟蹤準(zhǔn)確性和魯棒性。

發(fā)明內(nèi)容

本發(fā)明針對(duì)現(xiàn)有的算法在跟蹤過程中由于尺度變化過大、遮擋而造成的跟蹤漂移、丟失等問題，提供一種基于目標(biāo)移動(dòng)軌跡預(yù)測(cè)的深度學(xué)習(xí)集成的跟蹤算法，利用檢測(cè)算法和目標(biāo)移動(dòng)軌跡預(yù)測(cè)，結(jié)合歷史幀跟蹤結(jié)果、顏色特征計(jì)算出用于對(duì)跟蹤結(jié)果進(jìn)行糾正的目標(biāo)。從而提高跟蹤結(jié)果的準(zhǔn)確性、魯棒性。本發(fā)明的技術(shù)方案如下：

本發(fā)明所涉及的基于目標(biāo)移動(dòng)軌跡預(yù)測(cè)的深度學(xué)習(xí)集成的跟蹤算法，它包括以下步驟：

步驟1：讀取視頻幀序列，獲取初始幀圖像；

步驟2：將首幀輸入到目標(biāo)檢測(cè)算法，檢測(cè)出所有目標(biāo)的位置和人工標(biāo)注的跟蹤框位置進(jìn)行IOU計(jì)算，獲取跟蹤目標(biāo)的語義信息pre_label；

步驟3：當(dāng)t10，選取t幀之前的十個(gè)跟蹤評(píng)估得分＝tr的跟蹤結(jié)果，計(jì)算出顏色特征平均值模板S；

步驟4：若t10并且當(dāng)前跟蹤評(píng)分小于tr并且pre_label?。絥ull，執(zhí)行步驟5，步驟6，否則跳轉(zhuǎn)到步驟7；