[發(fā)明專利]一種基于旋轉(zhuǎn)自適應(yīng)卷積網(wǎng)絡(luò)的視覺(jué)跟蹤方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011363738.6
• 申請(qǐng)日: 2020-11-27
• 公開(kāi)（公告）號(hào): CN112802057A
• 公開(kāi)（公告）日: 2021-05-14
• 發(fā)明（設(shè)計(jì)）人: 何志偉;杜晨杰;董哲康;高明煜;伍瀚;聶佳浩
• 申請(qǐng)（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246;G06T7/73;G06T3/40;G06N3/04
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發(fā)明公開(kāi)了一種基于旋轉(zhuǎn)自適應(yīng)卷積網(wǎng)絡(luò)的視覺(jué)跟蹤方法。本發(fā)明具體步驟包括搭建VGG19網(wǎng)絡(luò)，在VGG19網(wǎng)絡(luò)中搭建旋轉(zhuǎn)自適應(yīng)模塊，獲得基于旋轉(zhuǎn)自適應(yīng)模塊的視覺(jué)跟蹤網(wǎng)絡(luò)模型，最后在公開(kāi)數(shù)據(jù)集OTB2015上對(duì)旋轉(zhuǎn)自適應(yīng)卷積網(wǎng)絡(luò)模型進(jìn)行實(shí)驗(yàn)。由于多數(shù)跟蹤算法一般只對(duì)跟蹤目標(biāo)的位置和尺度進(jìn)行預(yù)測(cè)，而忽略了目標(biāo)對(duì)象在跟蹤過(guò)程中可能發(fā)生了旋轉(zhuǎn)。針對(duì)現(xiàn)有視覺(jué)跟蹤方法的不足，本發(fā)明利用卷積網(wǎng)絡(luò)能快速提取目標(biāo)豐富的層次特征(包括淺層特征和深層特征)，并添加旋轉(zhuǎn)自適應(yīng)模塊來(lái)增強(qiáng)跟蹤器應(yīng)對(duì)目標(biāo)旋轉(zhuǎn)變化的穩(wěn)定性，從而進(jìn)一步提升跟蹤算法的準(zhǔn)確性和魯棒性。此外，本發(fā)明提出的旋轉(zhuǎn)自適應(yīng)模塊，為各類目標(biāo)跟蹤方法提供一種魯棒的目標(biāo)旋轉(zhuǎn)位置估計(jì)方法。

技術(shù)領(lǐng)域

本發(fā)明屬于視覺(jué)目標(biāo)跟蹤技術(shù)領(lǐng)域，尤其是涉及一種基于旋轉(zhuǎn)自適應(yīng)卷積網(wǎng)絡(luò)的視覺(jué)跟蹤方法。

背景技術(shù)

視覺(jué)目標(biāo)跟蹤已經(jīng)研究了幾十年，但仍然是一種具有挑戰(zhàn)性的熱點(diǎn)問(wèn)題。視覺(jué)目標(biāo)跟蹤在許多領(lǐng)域都得到了實(shí)際應(yīng)用，如自動(dòng)駕駛、行為識(shí)別和機(jī)器人導(dǎo)航等。相比傳統(tǒng)的視覺(jué)目標(biāo)跟蹤算法，近些年提出的基于深度學(xué)習(xí)的跟蹤方法在跟蹤性能和評(píng)估方法方面都取得了很大的進(jìn)展。在目標(biāo)跟蹤過(guò)程中，大多數(shù)跟蹤方法一旦遇到全遮擋、快速運(yùn)動(dòng)、運(yùn)動(dòng)模糊、目標(biāo)丟失等復(fù)雜場(chǎng)景的挑戰(zhàn)時(shí)，跟蹤器的整體性能會(huì)受到影響。因此，構(gòu)建一個(gè)魯棒高效的視覺(jué)跟蹤方法仍然存在著相當(dāng)大的挑戰(zhàn)。

在目標(biāo)跟蹤過(guò)程中，跟蹤器通常依賴于被跟蹤對(duì)象的空間布局。絕大多數(shù)的跟蹤算法一般只對(duì)跟蹤目標(biāo)的位置和尺度進(jìn)行預(yù)測(cè)，而忽略了目標(biāo)對(duì)象在跟蹤過(guò)程中可能發(fā)生了旋轉(zhuǎn)。假設(shè)跟蹤的目標(biāo)發(fā)生了顯著的旋轉(zhuǎn)變化，而跟蹤器中的跟蹤框不會(huì)隨之自適應(yīng)旋轉(zhuǎn)，那么即使是性能非常優(yōu)秀的跟蹤器也很難跟上處于旋轉(zhuǎn)中的目標(biāo)。以 OTB2015數(shù)據(jù)集中的MotorRolling視頻序列為例，該視頻中的目標(biāo)從第一幀開(kāi)始，就處于旋轉(zhuǎn)狀態(tài)，直到整個(gè)視頻的最后一幀，整個(gè)過(guò)程目標(biāo)經(jīng)歷了顯著的旋轉(zhuǎn)變化。因此，該視頻序列挑戰(zhàn)難度比較大，很多經(jīng)典的跟蹤器成功跟蹤10多幀以后，跟蹤框就開(kāi)始偏離目標(biāo)位置，導(dǎo)致整體的跟蹤性能大幅度下降。

針對(duì)跟蹤過(guò)程中出現(xiàn)的目標(biāo)旋轉(zhuǎn)變化問(wèn)題，提出了一種新型的旋轉(zhuǎn)自適應(yīng)卷積網(wǎng)絡(luò)視覺(jué)跟蹤方法，需要在提高精度值和成功值這兩方面進(jìn)行優(yōu)化。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提出一種新型的旋轉(zhuǎn)自適應(yīng)卷積網(wǎng)絡(luò)視覺(jué)跟蹤方法。利用卷積網(wǎng)絡(luò)能快速提取目標(biāo)豐富的層次特征(包括淺層特征和深層特征)，并添加旋轉(zhuǎn)自適應(yīng)模塊來(lái)增強(qiáng)跟蹤器應(yīng)對(duì)目標(biāo)旋轉(zhuǎn)變化的穩(wěn)定性，從而進(jìn)一步提升跟蹤算法的準(zhǔn)確性和魯棒性。此外，本發(fā)明提出的旋轉(zhuǎn)自適應(yīng)模塊，為各類目標(biāo)跟蹤方法提供一種魯棒、準(zhǔn)確的目標(biāo)旋轉(zhuǎn)位置估計(jì)方法。

一種基于旋轉(zhuǎn)自適應(yīng)卷積網(wǎng)絡(luò)的視覺(jué)跟蹤方法，該方法具體包括以下步驟：

步驟1、搭建VGG19網(wǎng)絡(luò)模塊；

1.1、VGG19網(wǎng)絡(luò)模塊包含19個(gè)隱藏層，其中前16個(gè)卷積層為卷積和池化操作的交替，最后一個(gè)卷積層后緊連接3個(gè)全連接層。每個(gè)卷積層的卷積核為3x3。

在本實(shí)驗(yàn)中需要提取conv3-4，conv4-4，conv5-4作為目標(biāo)表征。

1.2、為了解決pool5卷積特征圖過(guò)小的問(wèn)題，使用雙線性插值將每個(gè)卷積特征圖的大小調(diào)整為固定尺度大小。令h表示特征圖，x 表示上采樣特征圖，第i個(gè)位置的特征向量為：

其中，插值權(quán)重α_ik分別取決于第i和k個(gè)相鄰特征向量的位置。

1.3、VGG-19神經(jīng)網(wǎng)絡(luò)框架的基本原理是，能夠在conv3的特征圖中清晰的看到目標(biāo)的輪廓，但是在conv5的特征圖中已經(jīng)很難看到細(xì)節(jié)所在。然而，在conv5的特征圖包含了較多的語(yǔ)義信息。