[發(fā)明專利]基于邊界框回歸模型的目標(biāo)跟蹤方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010883760.7
• 申請(qǐng)日: 2020-08-28
• 公開（公告）號(hào): CN112053384B
• 公開（公告）日: 2022-12-02
• 發(fā)明（設(shè)計(jì)）人: 田小林;高文星;李芳;張藝帆;王露;楊坤;焦李成
• 申請(qǐng)（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246;G06T7/73;G06T5/00
• 代理公司: 陜西電子工業(yè)專利中心 61205
• 代理人: 王品華;田文英

1.一種基于邊界框回歸模型的目標(biāo)跟蹤方法，其特征在于，通過構(gòu)建的邊界框回歸模型，對(duì)濾波器定位的目標(biāo)位置進(jìn)行回歸調(diào)整；該方法的步驟包括如下：

(1)計(jì)算第一幀連續(xù)分辨率的空間特征圖：

(1a)將待跟蹤目標(biāo)視頻中隨機(jī)選取含有目標(biāo)一幀的作為第一幀；

(1b)使用深度卷積神經(jīng)網(wǎng)絡(luò)VGG-19提取第一幀中目標(biāo)區(qū)域離散空間域的特征；

(1c)利用下述三次線性插值公式，將每個(gè)維度離散空間域特征轉(zhuǎn)換到連續(xù)分辨率的空間特征，得到空間特征圖；

所述的三次線性插值公式如下：

其中，H_d'(·)表示第d維離散空間域特征轉(zhuǎn)換到第d'維連續(xù)分辨率的空間特征，x^d表示深度特征圖中第d維離散空間域特征，N_d表示第d維離散空間域特征的采樣數(shù)，∑表示加和操作，n表示離散空間域特征的序號(hào)，b_e表示具有周期的插值核函數(shù)，s_i表示第一幀中的目標(biāo)區(qū)域中的第i個(gè)像素點(diǎn)，Z表示第一幀中的目標(biāo)區(qū)域的像素點(diǎn)總數(shù)，d與d'的取值對(duì)應(yīng)相等；

(2)從含有待跟蹤目標(biāo)視頻圖像序列中除第一幀外選取一幀未選過的圖像作為當(dāng)前幀；

(3)計(jì)算當(dāng)前幀的連續(xù)分辨率的空間特征圖：

(3a)使用深度卷積神經(jīng)網(wǎng)絡(luò)VGG-19提取當(dāng)前幀中目標(biāo)區(qū)域離散空間域的特征；

(3b)利用三次線性插值公式，將每個(gè)維度離散空間域特征轉(zhuǎn)換到連續(xù)分辨率的空間特征，得到空間特征圖；

(4)計(jì)算相關(guān)濾波器：

(4a)通過空間特征圖并利用特征響應(yīng)圖計(jì)算公式，計(jì)算相關(guān)濾波器在空間特征圖上產(chǎn)生的特征響應(yīng)圖；

(4b)利用相關(guān)濾波器優(yōu)化函數(shù)，對(duì)響應(yīng)圖進(jìn)行優(yōu)化，將滿足相關(guān)濾波器優(yōu)化函數(shù)取到最小值的濾波器作為對(duì)應(yīng)于第一幀中的目標(biāo)區(qū)域的相關(guān)濾波器；

所述的相關(guān)濾波器優(yōu)化函數(shù)如下：

其中，E(f)表示相關(guān)濾波器優(yōu)化函數(shù)，min(·)表示求最小值操作，M表示相關(guān)濾波器的維度總數(shù)，j表示相關(guān)濾波器維度的序號(hào)，表示第j維相關(guān)濾波器對(duì)應(yīng)的權(quán)重參數(shù)，||·||²表示L2范數(shù)操作，y表示第一幀中的目標(biāo)區(qū)域的標(biāo)簽，w表示滿足中間小周圍大的倒高斯二維矩陣，表示點(diǎn)乘操作，d”'表示相關(guān)濾波器的維度，d”'的取值與d，d’對(duì)應(yīng)相等；

(5)構(gòu)建邊界框回歸模型：

(5a)利用第一幀中確定的相關(guān)濾波器與當(dāng)前幀中的視頻區(qū)域進(jìn)行點(diǎn)乘操作，得到用于預(yù)測(cè)目標(biāo)位置的響應(yīng)圖；

(5b)將預(yù)測(cè)目標(biāo)位置的響應(yīng)圖中響應(yīng)最大值區(qū)域作為當(dāng)前幀中預(yù)測(cè)目標(biāo)區(qū)域的位置；

(5c)計(jì)算當(dāng)前幀中的真實(shí)目標(biāo)區(qū)域位置與濾波器預(yù)測(cè)的目標(biāo)區(qū)域位置之間的移動(dòng)誤差，計(jì)算公式如下：

其中，t_x表示真實(shí)目標(biāo)區(qū)域位置與濾波器預(yù)測(cè)的目標(biāo)區(qū)域位置之間的橫坐標(biāo)誤差，t_y表示真實(shí)目標(biāo)區(qū)域位置與濾波器預(yù)測(cè)的目標(biāo)區(qū)域位置之間縱坐標(biāo)的誤差，t_w表示真實(shí)目標(biāo)區(qū)域位置與濾波器預(yù)測(cè)的目標(biāo)區(qū)域位置之間寬的誤差，t_h表示真實(shí)目標(biāo)區(qū)域位置與濾波器預(yù)測(cè)的目標(biāo)區(qū)域位置之間高的誤差，G_x表示真實(shí)目標(biāo)區(qū)域位置的橫坐標(biāo)，G_y表示真實(shí)目標(biāo)區(qū)域位置的縱坐標(biāo)，G_w表示真實(shí)目標(biāo)區(qū)域位置的寬，表示真實(shí)目標(biāo)區(qū)域位置的高，P_x表示濾波器預(yù)測(cè)的目標(biāo)區(qū)域位置的橫坐標(biāo)，P_y表示濾波器預(yù)測(cè)的目標(biāo)區(qū)域位置的縱坐標(biāo)，P_w表示濾波器預(yù)測(cè)的目標(biāo)區(qū)域位置的寬，P_h表示濾波器預(yù)測(cè)的目標(biāo)區(qū)域位置的高，log表示以10為底的對(duì)數(shù)；

(5d)通過最小化回歸模型損失函數(shù)，分別計(jì)算邊界框回歸模型的用于調(diào)節(jié)預(yù)測(cè)目標(biāo)區(qū)域位置橫坐標(biāo)、縱坐標(biāo)、寬和高對(duì)應(yīng)的四個(gè)參數(shù)，利用四個(gè)參數(shù)完成邊界框回歸模型的構(gòu)建，這四個(gè)參數(shù)是由下由下式分別計(jì)算得到的：

m＝argmin((t_*-m^Tθ(P))²+||m||²)

其中，m表示用于調(diào)節(jié)預(yù)測(cè)目標(biāo)區(qū)域位置橫坐標(biāo)、縱坐標(biāo)、寬和高中的任意一個(gè)參數(shù)，argmin(·)表示最小化函數(shù)，t_*表示真實(shí)目標(biāo)區(qū)域位置與濾波器預(yù)測(cè)的目標(biāo)區(qū)域位置之間的橫坐標(biāo)、縱坐標(biāo)、寬和高之間任意一個(gè)參數(shù)的誤差，T表示轉(zhuǎn)置操作，θ(P)表示預(yù)測(cè)到的目標(biāo)區(qū)域的特征向量，λ表示正則化系數(shù)；

(6)回歸預(yù)測(cè)的目標(biāo)位置：

利用邊界框回歸模型中的用于調(diào)節(jié)預(yù)測(cè)目標(biāo)區(qū)域位置橫坐標(biāo)、縱坐標(biāo)、寬和高的參數(shù)，對(duì)預(yù)測(cè)的目標(biāo)區(qū)域位置進(jìn)行調(diào)整，調(diào)整是由下式實(shí)現(xiàn)的：

其中，Q_x表示調(diào)整后的目標(biāo)區(qū)域位置的橫坐標(biāo)，Q_y表示調(diào)整后的目標(biāo)區(qū)域位置的縱坐標(biāo)，Q_w表示調(diào)整后的目標(biāo)區(qū)域位置的寬，Q_h表示調(diào)整后的目標(biāo)區(qū)域位置的高，K_x表示邊界框回歸模型中用于調(diào)整預(yù)測(cè)目標(biāo)區(qū)域橫坐標(biāo)的參數(shù)，K_y表示邊界框回歸模型中用于調(diào)整預(yù)測(cè)目標(biāo)區(qū)域縱坐標(biāo)的參數(shù)，K_w表示邊界框回歸模型中用于調(diào)整預(yù)測(cè)目標(biāo)區(qū)域?qū)挼膮?shù)，K_h表示邊界框回歸模型中用于調(diào)整預(yù)測(cè)目標(biāo)區(qū)域高的參數(shù)，e^p表示計(jì)算冪指數(shù)操作；

(7)將調(diào)整后的目標(biāo)區(qū)域位置作為對(duì)于目標(biāo)跟蹤的結(jié)果；

(8)判斷當(dāng)前幀視頻圖像是否為待跟蹤視頻圖像序列的最后一幀圖像，若是，則執(zhí)行步驟(9)，否則，執(zhí)行步驟(2)；

(9)結(jié)束對(duì)待跟蹤目標(biāo)的跟蹤。

2.根據(jù)權(quán)利要求1所述的基于邊界框回歸模型的目標(biāo)跟蹤方法，其特征在于，步驟(4a)中所述的響應(yīng)圖計(jì)算公式如下：

其中，S_d”(x^d)表示第d”'維相關(guān)濾波器在連續(xù)分辨率的空間特征上產(chǎn)生的第d”維的響應(yīng)圖，D表示空間特征圖的維度總數(shù)，f^d”’表示隨機(jī)初始化的第d”'維相關(guān)濾波器，表示點(diǎn)乘操作，d”的取值與d，d’，d”'的取值對(duì)應(yīng)相等。