[發(fā)明專利]一種復(fù)雜環(huán)境中的深度目標(biāo)跟蹤方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010445179.7
• 申請(qǐng)日: 2020-05-23
• 公開(kāi)（公告）號(hào): CN111640136B
• 公開(kāi)（公告）日: 2022-02-25
• 發(fā)明（設(shè)計(jì)）人: 蔣曉悅;王小健;李浩;方陽(yáng);王鼎;李煜祥
• 申請(qǐng)（專利權(quán)）人: 西北工業(yè)大學(xué)
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246
• 代理公司: 西北工業(yè)大學(xué)專利中心 61204
• 代理人: 金鳳

1.一種復(fù)雜環(huán)境中的深度目標(biāo)跟蹤方法，其特征在于，包括以下步驟：

步驟1：目標(biāo)跟蹤網(wǎng)絡(luò)訓(xùn)練

步驟1-1：從公共數(shù)據(jù)集中獲取訓(xùn)練用視頻樣本；根據(jù)式(1)計(jì)算視頻樣本第一幀圖像中目標(biāo)真值框?qū)抴和高h(yuǎn)的平均值p；以目標(biāo)真值框中心位置為中心點(diǎn)，在視頻樣本第一幀圖像中選取矩形區(qū)域，矩形區(qū)域的寬為w′，高為h′，w′和h′根據(jù)式(2)進(jìn)行計(jì)算；選取的矩形區(qū)域如果超出第一幀圖像范圍，超出的部分采用矩形區(qū)域在圖像內(nèi)部分所有像素點(diǎn)的RGB三通道顏色均值進(jìn)行填充；再將矩形區(qū)域尺寸通過(guò)縮放變化為D*D，D為預(yù)設(shè)值，將該D*D大小的圖像作為網(wǎng)絡(luò)訓(xùn)練用模板幀；

w′＝w+p h′＝h+p (2)

步驟1-2：根據(jù)式(1)計(jì)算視頻樣本除第一幀外的其余每幀圖像中目標(biāo)真值框?qū)抴和高h(yuǎn)的平均值p；以每幀圖像中目標(biāo)真值框中心位置為中心點(diǎn)，在每幀圖像中選取矩形區(qū)域，矩形區(qū)域的寬為4w′，高為4h′，w′和h′根據(jù)式(2)進(jìn)行計(jì)算；選取的矩形區(qū)域如果超出當(dāng)前幀圖像范圍，超出的部分采用矩形區(qū)域在當(dāng)前幀圖像內(nèi)部分所有像素點(diǎn)的RGB三通道顏色均值進(jìn)行填充；再將矩形區(qū)域尺寸通過(guò)縮放變化為E*E，E為預(yù)設(shè)值，將每幀圖像生成的所有E*E大小的圖像作為網(wǎng)絡(luò)訓(xùn)練用檢測(cè)幀；

步驟1-3：定義基礎(chǔ)殘差模塊1和基礎(chǔ)殘差模塊2；

基礎(chǔ)殘差模塊1由三個(gè)依次連接的卷積層組成；第一個(gè)和第三個(gè)卷積層卷積核大小為1x1，步長(zhǎng)為1，無(wú)填充，用于改變上下層級(jí)網(wǎng)絡(luò)的輸入輸出形狀；第二個(gè)卷積層為主體卷積層，卷積核大小為3x3，步長(zhǎng)為1，填充為1；

基礎(chǔ)殘差模塊2由分支1和分支2組成；分支1與基礎(chǔ)殘差模塊1完全相同；分支2為一個(gè)卷積層，卷積核大小為1x1，步長(zhǎng)為1；分支1和分支2并行處理；

步驟1-4：目標(biāo)跟蹤網(wǎng)絡(luò)的主干網(wǎng)絡(luò)采用Resnet50；Resnet50的卷積單元conv1使用7x7大小的卷積核，用于提取輸入幀的空間幾何特征；Resnet50的卷積單元conv2.x、conv3.x、conv4.x、conv5.x分別包含3、4、6、3個(gè)基礎(chǔ)殘差模塊，除conv3.x、conv4.x、conv5.x三個(gè)卷積單元的第一個(gè)基礎(chǔ)殘差模塊使用基礎(chǔ)殘差模塊2外，其余所有基礎(chǔ)殘差模塊均使用基礎(chǔ)殘差模塊1；主干網(wǎng)絡(luò)不包含全連接層；

步驟1-5：將模板幀記作z，檢測(cè)幀記作t；將模板幀與檢測(cè)幀分別輸入兩個(gè)完全相同的孿生主干網(wǎng)絡(luò)，分別輸出模板幀特征圖和檢測(cè)幀特征圖

步驟1-6：構(gòu)造區(qū)域提議網(wǎng)絡(luò)前置卷積層，由一個(gè)包含3x3卷積核的卷積層連接一個(gè)包含1x1卷積核的卷積層組成；將模板幀特征圖輸入?yún)^(qū)域提議網(wǎng)絡(luò)前置卷積層，前置卷積層的輸出再和檢測(cè)幀特征圖進(jìn)行多通道互相關(guān)運(yùn)算，得到分類分支響應(yīng)圖和回歸分支響應(yīng)圖；

分類分支響應(yīng)圖通道數(shù)為2k，回歸分支響應(yīng)圖通道數(shù)為4k；k為響應(yīng)圖中每個(gè)錨點(diǎn)對(duì)應(yīng)的模板幀或檢測(cè)幀中錨框的數(shù)量；錨點(diǎn)個(gè)數(shù)n＝w_rp·h_rp,式中w_rp為響應(yīng)圖寬度，h_rp為響應(yīng)圖高度，總的錨框個(gè)數(shù)為N＝n·k；

步驟1-7：計(jì)算每個(gè)錨框與當(dāng)前檢測(cè)幀目標(biāo)真值框的交并比，交并比小于等于a₁的錨框記為負(fù)樣本，交并比大于等于a₂的錨框記為正樣本，交并比介于a₁和a₂之間的錨框不用于訓(xùn)練，a₁和a₂為預(yù)設(shè)值，且0a₁a₂1；

所有的正樣本和負(fù)樣本用于區(qū)域提議網(wǎng)絡(luò)分類分支中目標(biāo)與背景的分類訓(xùn)練，所有的正樣本用于區(qū)域提議網(wǎng)絡(luò)回歸分支中目標(biāo)邊框的邊框回歸訓(xùn)練；

步驟1-8：定義單個(gè)錨框的分類損失L_cls為：

L_cls＝-∑_i＝1,2y_ilogp_i (3)

式中，y_i∈{y₁，y₂}為錨框的樣本標(biāo)簽，y₁＝{1，0}表示該錨框?yàn)檎龢颖荆瑈₂＝{0，1}表示該錨框?yàn)樨?fù)樣本，p_i∈{p₁，p₂}為分類分支響應(yīng)圖結(jié)果，p₁表示該錨框?yàn)檎龢颖镜母怕剩琾₂表示該錨框?yàn)樨?fù)樣本的概率；

步驟1-9：定義單個(gè)錨框的邊框回歸損失L_reg為：

式中，d_*∈{d_x,d_y,d_w,d_h}，d_x、d_y為回歸分支響應(yīng)圖中錨框的預(yù)測(cè)結(jié)果中心點(diǎn)坐標(biāo)與當(dāng)前檢測(cè)幀目標(biāo)真值框中心點(diǎn)坐標(biāo)的偏差，d_w、d_h為回歸分支響應(yīng)圖中錨框的預(yù)測(cè)結(jié)果的寬和高與當(dāng)前檢測(cè)幀目標(biāo)真值框的寬和高的偏差；σ為曲線形狀參數(shù)；t_*∈{t_x,t_y,t_w,t_h}，t_x、t_y為錨框的中心點(diǎn)坐標(biāo)與當(dāng)前檢測(cè)幀目標(biāo)真值框中心點(diǎn)坐標(biāo)的偏差，t_w、t_h為為錨框的寬和高與當(dāng)前檢測(cè)幀目標(biāo)真值框的寬和高的偏差，計(jì)算如下：

(A_x,A_y)為錨框的中心點(diǎn)坐標(biāo)，A_w、A_h分別為錨框的寬和高，(T_x,T_y)為當(dāng)前檢測(cè)幀目標(biāo)真值框中心點(diǎn)坐標(biāo)，T_w、T_h分別為當(dāng)前檢測(cè)幀目標(biāo)真值框?qū)捄透撸?/p>

smooth L1函數(shù)計(jì)算公式如下：

x為函數(shù)自變量；

步驟1-10：定義單個(gè)錨框的總損失為：

L_anc＝L_reg+L_cls (6)

定義單幀的區(qū)域提議網(wǎng)絡(luò)損失L_rpn為：

式中N_A為單幀中的錨框總數(shù)；

步驟1-11：使用模板幀特征圖在檢測(cè)幀特征圖上做滑窗操作，滑窗內(nèi)模板幀特征圖與檢測(cè)幀特征圖進(jìn)行互相關(guān)運(yùn)算，得到檢測(cè)幀特征圖中各個(gè)窗口得分f(z,t)，計(jì)算如下：

模板幀特征圖完成在整個(gè)檢測(cè)幀特征圖上的滑窗操作，得到該檢測(cè)幀特征圖全局得分圖D；

步驟1-12：定義得分圖上得分點(diǎn)的損失為：

l(y,v)＝log(1+exp(-yv)) (9)

式中，y為得分圖上得分點(diǎn)對(duì)應(yīng)的檢測(cè)幀特征圖相應(yīng)窗口區(qū)域的真值標(biāo)簽，y∈{+1,-1}；v為該得分點(diǎn)真實(shí)得分值，v＝f(z,t)由式(8)計(jì)算得到；

在整個(gè)得分圖G上所有得分點(diǎn)的損失為：

式中u為得分圖上得分點(diǎn)對(duì)應(yīng)的當(dāng)前檢測(cè)幀中錨框的中心點(diǎn)坐標(biāo)，v[u]為得分圖上得分點(diǎn)的真實(shí)得分值；y[u]為得分圖上得分點(diǎn)的真值標(biāo)簽，計(jì)算如下式：

式中，c為該檢測(cè)幀的真值邊框的中心點(diǎn)坐標(biāo)，R為坐標(biāo)差閾值，k₁為比例系數(shù)；

步驟1-13：定義單幀圖像總損失為：

L＝L(y,v)+L_rpn (12)

步驟1-14：根據(jù)步驟1-11計(jì)算當(dāng)前檢測(cè)幀之前連續(xù)m個(gè)檢測(cè)幀的得分圖，m個(gè)檢測(cè)幀得分圖中的最大值為G_max；計(jì)算當(dāng)前檢測(cè)幀的得分圖G_now；

當(dāng)G_now/G_maxthd時(shí)，0thd1為目標(biāo)遮擋閾值，用當(dāng)前檢測(cè)幀對(duì)應(yīng)的原始圖像幀經(jīng)過(guò)步驟1-1重新得到新的模板幀，用新的模板幀替換當(dāng)前模板幀；當(dāng)G_now/G_max≥thd時(shí)，保持原來(lái)的模板幀不變；

步驟1-15：將當(dāng)前模板幀和視頻樣本的各個(gè)檢測(cè)幀分別組成圖像對(duì)，再將圖像對(duì)按照視頻樣本中的檢測(cè)幀順序依次輸入網(wǎng)絡(luò)，計(jì)算每個(gè)圖像對(duì)的單幀圖像總損失，當(dāng)單幀圖像總損失不再降低，完成目標(biāo)跟蹤網(wǎng)絡(luò)訓(xùn)練；

步驟2：目標(biāo)跟蹤

步驟2-1：人工在待處理視頻序列第一幀圖像中用矩形框選定需要跟蹤的目標(biāo)，使目標(biāo)恰好處于矩形框內(nèi)，將此矩形框定義為目標(biāo)真值框；再采用步驟1-1的方法得到模板幀；

步驟2-2：在待處理視頻序列第二幀圖像中選擇矩形框，矩形框的中心點(diǎn)坐標(biāo)和第一幀圖像中目標(biāo)真值框的中心點(diǎn)坐標(biāo)相同，矩形框的高、寬和第一幀圖像中目標(biāo)真值框的高、寬相同，將在第二幀圖像中選擇的矩形框定義為第二幀圖像的目標(biāo)真值框，再采用步驟1-2的方法得到第二幀圖像的檢測(cè)幀；

步驟2-3：將步驟2-1和2-2得到的模板幀和檢測(cè)幀組成圖像對(duì)，將圖像對(duì)輸入步驟1訓(xùn)練完成的目標(biāo)跟蹤網(wǎng)絡(luò)，目標(biāo)跟蹤網(wǎng)絡(luò)的輸出為在當(dāng)前檢測(cè)幀中跟蹤到的目標(biāo)位置信息，目標(biāo)位置信息由包含目標(biāo)的矩形框的中心點(diǎn)坐標(biāo)、矩形框高度值和寬度值組成；

步驟2-4：對(duì)于待處理視頻中除前兩幀圖像之外的其他圖像幀，在當(dāng)前圖像幀中選擇矩形框，矩形框中心點(diǎn)位置、寬度值、高度值和當(dāng)前圖像幀的上一幀圖像跟蹤到的目標(biāo)位置信息相同；將當(dāng)前圖像幀中選擇的矩形框定義為當(dāng)前圖像幀的目標(biāo)真值框，再采用步驟1-2的方法得到當(dāng)前圖像幀的檢測(cè)幀；將當(dāng)前圖像幀的檢測(cè)幀和模板幀組成圖像對(duì)，輸入目標(biāo)跟蹤網(wǎng)絡(luò)，網(wǎng)絡(luò)的輸出為在前檢測(cè)幀中跟蹤到的目標(biāo)位置信息；

步驟2-5：按照步驟1-14的方法，對(duì)模板幀進(jìn)行更新；

步驟2-6：根據(jù)步驟1-11，計(jì)算當(dāng)前檢測(cè)幀的得分圖G_now和當(dāng)前幀前一幀的得分圖G_bef；當(dāng)G_now/G_beffthd，fthd為目標(biāo)丟失閾值，且0fthdthd1，則重新確定當(dāng)前圖像幀的檢測(cè)幀；

步驟2-7：重復(fù)步驟2-4到2-6，直至完成待處理視頻最后一幀的目標(biāo)跟蹤。

2.如權(quán)利要求1所述的一種復(fù)雜環(huán)境中的深度目標(biāo)跟蹤方法，其特征在于，步驟2-6中所述的重新確定當(dāng)前圖像幀的檢測(cè)幀的方法如下：

將當(dāng)前圖像幀擴(kuò)展為一個(gè)正方形圖像，正方形圖像的邊長(zhǎng)為當(dāng)前圖像幀寬和高中較大者，正方形圖像中當(dāng)前圖像幀以外的部分采用當(dāng)前圖像幀所有像素點(diǎn)的RGB三通道顏色均值進(jìn)行填充，再將正方形圖像尺寸縮放到E*E；將這個(gè)E*E大小的圖像作為新的檢測(cè)幀。