[發(fā)明專利]一種全卷積分類及回歸孿生網(wǎng)絡(luò)結(jié)構(gòu)的視覺目標(biāo)跟蹤方法

在審

• 申請?zhí)枺?/td>: 201911292419.8
• 申請日: 2019-12-16
• 公開（公告）號: CN111179307A
• 公開（公告）日: 2020-05-19
• 發(fā)明（設(shè)計）人: 郭東巖;邵燕燕;王俊;崔瀅;王振華;陳勝勇
• 申請（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06K9/62
• 代理公司: 杭州斯可睿專利事務(wù)所有限公司 33241
• 代理人: 王利強(qiáng)

1.一種全卷積分類及回歸孿生網(wǎng)絡(luò)結(jié)構(gòu)的視覺目標(biāo)跟蹤方法，其特征在于，所述方法包括以下步驟：

(1)選擇視覺目標(biāo)跟蹤訓(xùn)練集，根據(jù)圖像中目標(biāo)的所在位置，在原始訓(xùn)練集中裁剪出目標(biāo)模板圖像和搜索區(qū)域圖像，裁剪出的圖像對構(gòu)成了訓(xùn)練數(shù)據(jù)集；

(2)搭建全卷積孿生網(wǎng)絡(luò)提取圖像特征，所述全卷積孿生網(wǎng)絡(luò)包含兩個架構(gòu)完全相同的分支網(wǎng)絡(luò)，分別是提取目標(biāo)模板圖像特征的分支網(wǎng)絡(luò)和提取搜索區(qū)域圖像特征的分支網(wǎng)絡(luò)，這兩個分支網(wǎng)絡(luò)的輸出層做深度互相關(guān)運(yùn)算得到一張響應(yīng)圖，響應(yīng)圖降維后作為分類回歸網(wǎng)絡(luò)的輸入；

(3)搭建分類回歸網(wǎng)絡(luò)，全卷積孿生網(wǎng)絡(luò)生成的響應(yīng)圖作為分類回歸網(wǎng)絡(luò)的輸入，分類回歸網(wǎng)絡(luò)包含兩個分支，分別是進(jìn)行分類分支網(wǎng)絡(luò)和回歸分支網(wǎng)絡(luò)，分類分支網(wǎng)絡(luò)輸出相應(yīng)像素點(diǎn)屬于目標(biāo)區(qū)域的概率，回歸分支網(wǎng)絡(luò)輸出四條包圍框與對應(yīng)像素點(diǎn)間的距離；

(4)全卷積孿生網(wǎng)絡(luò)產(chǎn)生的響應(yīng)圖在經(jīng)過分類回歸網(wǎng)絡(luò)后，響應(yīng)圖上的每個像素點(diǎn)都有對應(yīng)的前景得分和預(yù)測的包圍框，結(jié)合前景得分和包圍框的信息，計算每個像素點(diǎn)的總得分，總得分最高的像素點(diǎn)是跟蹤目標(biāo)的中心；

(5)使用訓(xùn)練數(shù)據(jù)集，訓(xùn)練全卷積孿生網(wǎng)絡(luò)和分類回歸網(wǎng)絡(luò)，獲得訓(xùn)練好的全卷積孿生網(wǎng)絡(luò)和分類回歸網(wǎng)絡(luò)，使用訓(xùn)練好的網(wǎng)絡(luò)計算待測圖像序列中目標(biāo)的得分圖，基于得分圖進(jìn)行目標(biāo)定位。

2.如權(quán)利要求1所述的一種全卷積分類及回歸孿生網(wǎng)絡(luò)結(jié)構(gòu)的視覺目標(biāo)跟蹤方法，其特征在于，所述步驟(1)中，用于訓(xùn)練的數(shù)據(jù)集有：COCO，ImageNet DET，ImageNet VID或者YouTube-BB。

3.如權(quán)利要求1或2所述的一種全卷積分類及回歸孿生網(wǎng)絡(luò)結(jié)構(gòu)的視覺目標(biāo)跟蹤方法，其特征在于，所述步驟(2)中，全卷積孿生網(wǎng)絡(luò)包括兩個分支，分別是：a)以目標(biāo)模板圖像Z作為輸入的目標(biāo)分支；b)以搜索區(qū)域圖像X作為輸入的搜索分支，這兩個分支的主干網(wǎng)絡(luò)結(jié)構(gòu)相同、共享參數(shù)，兩個分支輸出的特征圖分別表示為和在上執(zhí)行以為核的深層互相關(guān)運(yùn)算，得到嵌有兩個分支信息的響應(yīng)圖R，降維后的響應(yīng)圖R*作為分類回歸子網(wǎng)絡(luò)的輸入。

4.如權(quán)利要求1或2所述的一種全卷積分類及回歸孿生網(wǎng)絡(luò)結(jié)構(gòu)的視覺目標(biāo)跟蹤方法，其特征在于，所述步驟(3)中，響應(yīng)圖R*上的位置(i,j)能在輸入的搜索區(qū)域中映射為(x,y)，對搜索區(qū)域上的像素進(jìn)行前景、背景分類并回歸出目標(biāo)包圍框，用端到端的全卷積操作完成相關(guān)的訓(xùn)練，所述任務(wù)被拆解成兩個子任務(wù)：a)分類分支網(wǎng)絡(luò)，用于計算響應(yīng)圖R*上每個像素點(diǎn)屬于前景、背景的概率；b)回歸分支網(wǎng)絡(luò)，用于計算響應(yīng)圖R*上每個像素對應(yīng)的目標(biāo)包圍框。

5.如權(quán)利要求1或2所述的一種全卷積分類及回歸孿生網(wǎng)絡(luò)結(jié)構(gòu)的視覺目標(biāo)跟蹤方法，其特征在于，所述步驟(4)中，在分類回歸網(wǎng)絡(luò)的基礎(chǔ)上對響應(yīng)圖R*上的每個位置計算總得分，在跟蹤過程中，相鄰幀之間包圍框的大小和寬高比只有微小的變化，引入了尺寸變化懲罰p_i,j，結(jié)合p_i,j對分類分支的得分重新進(jìn)行排序，把總得分最高的像素位置記做目標(biāo)中心，按得分排序在目標(biāo)中心附近取k個像素點(diǎn)，把目標(biāo)中心像素和k個像素點(diǎn)的包圍框進(jìn)行加權(quán)平均運(yùn)算，計算結(jié)果是最終的目標(biāo)包圍框。

6.如權(quán)利要求1或2所述的一種全卷積分類及回歸孿生網(wǎng)絡(luò)結(jié)構(gòu)的視覺目標(biāo)跟蹤方法，其特征在于，所述步驟(5)的過程如下：

5.1)在待測圖像序列中，根據(jù)第一幀給定目標(biāo)所在位置，剪裁出目標(biāo)模板圖像，將第一幀的目標(biāo)模板圖像輸入到訓(xùn)練好的全卷積孿生網(wǎng)絡(luò)的目標(biāo)模板分支網(wǎng)絡(luò)中，得到目標(biāo)模板圖像的特征圖M₁，此時，t＝2；

5.2)根據(jù)待測圖像序列的第t-1幀圖像的目標(biāo)框所在位置，剪裁出第t幀圖像的搜索區(qū)域圖像，將第t幀的搜索區(qū)域圖像輸入到訓(xùn)練好的全卷積孿生網(wǎng)絡(luò)的搜索區(qū)域分支中，獲得第t幀圖像的搜索區(qū)域圖像特征圖；

5.3)將第t-1幀的目標(biāo)模板特征圖和第t幀的搜索區(qū)域圖像特征圖對應(yīng)層進(jìn)行深度互相關(guān)運(yùn)算，得到響應(yīng)圖R*，響應(yīng)圖R*輸入到分類回歸網(wǎng)絡(luò)中，計算出目標(biāo)在第t幀的搜索區(qū)域圖像內(nèi)的得分圖；

5.4)根據(jù)第t幀的最終得分圖計算目標(biāo)在第t幀圖像中的目標(biāo)位置；

5.5)令t＝t+1，重復(fù)執(zhí)行步驟5.2)-5.5)，直至待測圖像序列目標(biāo)跟蹤結(jié)束，即t＝N，其中，N為待測圖像序列的總幀數(shù)。