[發(fā)明專利]一種基于時(shí)間和空間網(wǎng)絡(luò)的深度集成目標(biāo)跟蹤算法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910546908.5
• 申請(qǐng)日: 2019-06-25
• 公開(kāi)（公告）號(hào): CN110569706A
• 公開(kāi)（公告）日: 2019-12-13
• 發(fā)明（設(shè)計(jì)）人: 胡昭華;陳胡欣;李高飛
• 申請(qǐng)（專利權(quán)）人: 南京信息工程大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 32252 南京鐘山專利代理有限公司
• 代理人: 戴朝榮

本發(fā)明公開(kāi)了一種基于時(shí)間和空間網(wǎng)絡(luò)的深度集成目標(biāo)跟蹤算法，利用VGG?16網(wǎng)絡(luò)提取深度特征并得到特征映射圖，構(gòu)建由相關(guān)濾波網(wǎng)絡(luò)、時(shí)間網(wǎng)絡(luò)以及空間網(wǎng)絡(luò)構(gòu)成的深度網(wǎng)絡(luò)，將特征映射圖送入由相關(guān)濾波網(wǎng)絡(luò)、時(shí)間網(wǎng)絡(luò)以及空間網(wǎng)絡(luò)連接成的深度網(wǎng)絡(luò)中，同時(shí)訓(xùn)練模型，直到收斂為止，以前一幀預(yù)測(cè)的目標(biāo)位置為中心在當(dāng)前幀的圖片中提取搜索塊，用VGG?16網(wǎng)絡(luò)提取搜索塊的特征送入與之對(duì)應(yīng)訓(xùn)練好的模型中來(lái)生成響應(yīng)映射，利用自適應(yīng)權(quán)重的集成學(xué)習(xí)算法融合所有弱跟蹤器得到最終的目標(biāo)位置，采用尺度估計(jì)算法對(duì)目標(biāo)大小進(jìn)行預(yù)測(cè)，利用當(dāng)前幀的搜索塊和預(yù)測(cè)值組成訓(xùn)練對(duì)，輸入到模型中進(jìn)行在線更新。可以進(jìn)一步提高算法的精確度。

技術(shù)領(lǐng)域

本發(fā)明圖像處理和計(jì)算機(jī)視覺(jué)領(lǐng)域，尤其一種基于時(shí)間和空間網(wǎng)絡(luò)的深度集成目標(biāo)跟蹤算法。

背景技術(shù)

視覺(jué)目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)領(lǐng)域中的一項(xiàng)基本問(wèn)題，可廣泛應(yīng)用于車(chē)輛導(dǎo)航、視頻監(jiān)控、人機(jī)交互等許多實(shí)際系統(tǒng)中。該問(wèn)題的核心是如何利用極其有限的訓(xùn)練數(shù)據(jù)(通常是第一幀中的邊界框)來(lái)開(kāi)發(fā)出一個(gè)魯棒的外觀模型。在過(guò)去幾十年里視覺(jué)目標(biāo)跟蹤技術(shù)取得了長(zhǎng)足的進(jìn)步，主要有基于相關(guān)濾波的跟蹤算法和基于深度學(xué)習(xí)的跟蹤算法。

基于視覺(jué)識(shí)別任務(wù)，深度學(xué)習(xí)模型需要大量標(biāo)記的訓(xùn)練樣本，而在目標(biāo)跟蹤問(wèn)題中，唯一標(biāo)記的樣本只有第一幀標(biāo)注的目標(biāo)位置，所以直接將深度學(xué)習(xí)模型應(yīng)用于在線跟蹤算法是不可行的。以往基于深度學(xué)習(xí)的跟蹤算法通過(guò)大量標(biāo)記視頻，離線學(xué)習(xí)通用特征表示。例如，Nam等人(Nam H，Han B.Learning multi-domain convolutional neuralnetworks for visual tracking[C]//Computer Vision and Pattem Recognition(CVPR)，2016IEEE Conference on.IEEE，2016：4293-4302.)提出MDNet跟蹤算法，該算法利用類似于跟蹤基準(zhǔn)中的視頻序列來(lái)離線學(xué)習(xí)深度模型，并使用目標(biāo)基準(zhǔn)測(cè)試序列對(duì)離線學(xué)習(xí)的模型進(jìn)行在線微調(diào)，這種方法不僅容易產(chǎn)生過(guò)擬合，而且離線訓(xùn)練耗時(shí)過(guò)長(zhǎng)。此外在視覺(jué)識(shí)別算法中使用神經(jīng)網(wǎng)絡(luò)作為在線分類器，通過(guò)最后一個(gè)卷積層的輸出來(lái)表示目標(biāo)。由于最后一層的特征有較高的語(yǔ)義信息，容易推斷出物體的類別，所以使用最后一層的特征對(duì)于視覺(jué)識(shí)別任務(wù)是非常有效的。但是對(duì)于目標(biāo)跟蹤任務(wù)，僅僅使用最后一層的特征來(lái)表示目標(biāo)是不夠的，因?yàn)樗€需要對(duì)目標(biāo)進(jìn)行精準(zhǔn)定位。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問(wèn)題是針對(duì)上述現(xiàn)有技術(shù)的不足，提供一種基于時(shí)間和空間網(wǎng)絡(luò)的深度集成目標(biāo)跟蹤算法。

為實(shí)現(xiàn)上述技術(shù)目的，本發(fā)明采取的技術(shù)方案為：

一種基于時(shí)間和空間網(wǎng)絡(luò)的深度集成目標(biāo)跟蹤算法，包括以下步驟：

S1：利用VGG-16網(wǎng)絡(luò)提取深度特征并得到特征映射圖；

S2：構(gòu)建由相關(guān)濾波網(wǎng)絡(luò)、時(shí)間網(wǎng)絡(luò)以及空間網(wǎng)絡(luò)構(gòu)成的深度網(wǎng)絡(luò)；

S3：將特征映射圖送入由相關(guān)濾波網(wǎng)絡(luò)、時(shí)間網(wǎng)絡(luò)以及空間網(wǎng)絡(luò)連接成的深度網(wǎng)絡(luò)中，同時(shí)訓(xùn)練模型，直到收斂為止；

S4：以前一幀預(yù)測(cè)的目標(biāo)位置為中心在當(dāng)前幀的圖片中提取搜索塊p1，以前一幀預(yù)測(cè)的目標(biāo)位置為中心在前一幀的圖片中提取搜索塊p2，用VGG-16網(wǎng)絡(luò)提取搜索塊p1和搜索塊p2的特征送入與之對(duì)應(yīng)訓(xùn)練好的模型中來(lái)生成響應(yīng)映射，每個(gè)模型視為弱跟蹤器，利用自適應(yīng)權(quán)重的集成學(xué)習(xí)算法融合所有弱跟蹤器得到最終的目標(biāo)位置，采用尺度估計(jì)算法對(duì)目標(biāo)大小進(jìn)行預(yù)測(cè)；

S5：利用搜索塊p1、搜索塊p2和預(yù)測(cè)值組成訓(xùn)練對(duì)，輸入到模型中進(jìn)行在線更新；

為優(yōu)化上述技術(shù)方案，采取的具體措施還包括：

上述的步驟S1具體為：

S11：VGGNet網(wǎng)絡(luò)構(gòu)筑16～19層深的卷積神經(jīng)網(wǎng)絡(luò)；