[發(fā)明專利]基于匹配-回歸網(wǎng)絡(luò)的目標(biāo)跟蹤方法及訓(xùn)練方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010324781.5
• 申請(qǐng)日: 2020-04-22
• 公開（公告）號(hào): CN111523463B
• 公開（公告）日: 2023-05-23
• 發(fā)明（設(shè)計(jì)）人: 陳瑞;童瑩;葛垚;曹雪虹
• 申請(qǐng)（專利權(quán)）人: 南京工程學(xué)院
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V10/75;G06V10/44;G06V10/30;G06V10/82;G06N3/0464;G06N3/0442;G06N3/049;G06N3/082
• 代理公司: 南京睿之博知識(shí)產(chǎn)權(quán)代理有限公司 32296
• 代理人: 楊雷

1.一種基于匹配-回歸網(wǎng)絡(luò)的目標(biāo)跟蹤方法，其特征在于，包括：

輸入包括若干幀的目標(biāo)待跟蹤序列，對(duì)目標(biāo)待跟蹤序列中的每一幀圖像計(jì)算目標(biāo)搜索區(qū)域，在目標(biāo)搜索區(qū)域內(nèi)進(jìn)行目標(biāo)跟蹤；

根據(jù)中心匹配網(wǎng)絡(luò)確定目標(biāo)中心位置：所述中心匹配網(wǎng)絡(luò)為孿生網(wǎng)絡(luò)，利用所述孿生網(wǎng)絡(luò)對(duì)模板圖像和搜索圖像進(jìn)行特征提取，所述搜索圖像為限定目標(biāo)搜索區(qū)域的目標(biāo)待跟蹤序列中所有幀圖像；對(duì)模板圖像和搜索圖像的特征進(jìn)行互相關(guān)模板匹配，輸出特征響應(yīng)圖，所述特征響應(yīng)圖中最大響應(yīng)點(diǎn)所對(duì)應(yīng)的位置為目標(biāo)中心位置；

根據(jù)已確定的目標(biāo)中心位置獲取中心匹配網(wǎng)絡(luò)的最后一個(gè)卷積層輸出的特征圖，將所述特征圖作為邊界回歸網(wǎng)絡(luò)的輸入；

根據(jù)邊界回歸網(wǎng)絡(luò)確定包圍目標(biāo)的錨框大小：邊界回歸網(wǎng)絡(luò)根據(jù)輸入的特征圖，利用所述目標(biāo)中心進(jìn)行目標(biāo)中心點(diǎn)發(fā)散，確定目標(biāo)中心的邊界位置，輸出錨框的高度和寬度；所述邊界回歸網(wǎng)絡(luò)確定包圍目標(biāo)的錨框大小的具體步驟包括：

對(duì)所述中心匹配網(wǎng)絡(luò)輸出的特征圖去除背景噪聲，獲取有效的特征圖；

利用具有1024個(gè)節(jié)點(diǎn)的全連接層對(duì)所述有效特征圖進(jìn)行降維；

對(duì)所述降維后的特征圖利用兩層具有1024個(gè)節(jié)點(diǎn)的LSTM網(wǎng)絡(luò)進(jìn)行處理，對(duì)每一幀降維后的特征圖進(jìn)行時(shí)序特征提取，通過(guò)LSTM網(wǎng)絡(luò)的內(nèi)置單元將所述時(shí)序特征用于后面幀的計(jì)算過(guò)程中；

將所述通過(guò)LSTM網(wǎng)絡(luò)和時(shí)序特征聯(lián)合處理后的特征圖展開為一維向量，將所述一維向量輸入具有2個(gè)節(jié)點(diǎn)的全連接層，所述全連接層輸出的兩個(gè)值即為錨框的高度和寬度。

2.根據(jù)權(quán)利要求1所述的一種基于匹配-回歸網(wǎng)絡(luò)的目標(biāo)跟蹤方法，其特征在于：所述目標(biāo)搜索區(qū)域計(jì)算過(guò)程包括：

在目標(biāo)待跟蹤序列中，對(duì)第一幀圖像進(jìn)行初始化，包括對(duì)孿生網(wǎng)絡(luò)的特征模板進(jìn)行初始化和LSTM網(wǎng)絡(luò)隱藏狀態(tài)初始化；

利用單一尺度公式確定當(dāng)前幀搜索區(qū)域：

其中，上一幀的搜索區(qū)域?yàn)?X、Y、W、H)，(X，Y)是上一幀中目標(biāo)中心位置，W、H為上一幀中錨框的寬度和高度，W′、H′為當(dāng)前幀中錨框的寬度和高度，C*C為當(dāng)前幀的搜索區(qū)域大小；

通過(guò)中心匹配網(wǎng)絡(luò)獲取當(dāng)前幀的目標(biāo)中心位置，利用所述中心位置獲取匹配過(guò)程中生成的部分特征，利用邊界回歸網(wǎng)絡(luò)獲取錨框的大小，利用所述目標(biāo)中心位置和錨框大小確定當(dāng)前幀中目標(biāo)位置，所述當(dāng)前幀中目標(biāo)位置和錨框大小為下一幀的目標(biāo)搜索區(qū)域。

3.根據(jù)權(quán)利要求1所述的一種基于匹配-回歸網(wǎng)絡(luò)的目標(biāo)跟蹤方法，其特征在于：所述特征響應(yīng)圖的計(jì)算公式為：

其中z為模板圖像，x為搜索圖像，為孿生網(wǎng)絡(luò)中相同的卷積網(wǎng)絡(luò)，P為與特征響應(yīng)圖大小相同的懲罰窗，用于避免產(chǎn)生相鄰幀之間物體位移過(guò)大的誤判。

4.應(yīng)用于權(quán)利要求1-3任一所述的一種基于匹配-回歸網(wǎng)絡(luò)的目標(biāo)跟蹤方法的訓(xùn)練方法，其特征在于，包括：

利用訓(xùn)練集中的數(shù)據(jù)對(duì)中心匹配網(wǎng)絡(luò)和邊界回歸網(wǎng)絡(luò)進(jìn)行訓(xùn)練；利用ImageNetVID中的模板圖片和包含搜索區(qū)域的圖片構(gòu)成的圖片組來(lái)訓(xùn)練中心匹配網(wǎng)絡(luò)，達(dá)到收斂即中心匹配網(wǎng)絡(luò)損失函數(shù)收斂到閾值后，利用ImageNet?VID中的連續(xù)的視頻序列訓(xùn)練邊界回歸網(wǎng)絡(luò)；

網(wǎng)絡(luò)訓(xùn)練中，利用二元交叉熵計(jì)算中心匹配網(wǎng)絡(luò)的損失函數(shù)，利用L₁范數(shù)計(jì)算邊界回歸網(wǎng)絡(luò)的損失函數(shù)。

5.根據(jù)權(quán)利要求4所述的一種基于匹配-回歸網(wǎng)絡(luò)的目標(biāo)跟蹤方法的訓(xùn)練方法，其特征在于：在利用訓(xùn)練集中的數(shù)據(jù)對(duì)中心匹配網(wǎng)絡(luò)和邊界回歸網(wǎng)絡(luò)進(jìn)行訓(xùn)練前，需要對(duì)所述訓(xùn)練集中的數(shù)據(jù)進(jìn)行預(yù)裁剪，預(yù)裁剪的具體方法為：根據(jù)視頻序列上一幀的錨框大小(W、H)，利用單一尺度公式，計(jì)算搜索區(qū)域大小(C*C)，根據(jù)搜索區(qū)域大小(C*C)對(duì)視頻序列當(dāng)前幀進(jìn)行預(yù)裁剪。

6.根據(jù)權(quán)利要求4所述的一種基于匹配-回歸網(wǎng)絡(luò)的目標(biāo)跟蹤方法的訓(xùn)練方法，其特征在于：所述中心匹配網(wǎng)絡(luò)的損失函數(shù)為：

其中y_ij∈{0，1}，p_ij是y_ij＝1時(shí)的softmax概率，y_ij表示R行S列的二維標(biāo)簽中第i行第j列的值是否屬于跟蹤目標(biāo)的搜索區(qū)域范圍，若是，則y_ij＝1，否則y_ij＝0；

邊界回歸網(wǎng)絡(luò)的損失函數(shù)為：

其中，w_p、k_p分別為邊界回歸網(wǎng)絡(luò)中輸出的目標(biāo)寬度和高度相對(duì)于輸入搜索區(qū)域?qū)挾群透叨鹊谋壤瑆、h分別為訓(xùn)練時(shí)輸入的目標(biāo)寬度和高度相對(duì)于輸入搜索區(qū)域?qū)挾群透叨鹊谋壤?/p>