[發(fā)明專利]一種基于自適應(yīng)模板更新的孿生網(wǎng)絡(luò)跟蹤方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011056564.9
• 申請(qǐng)日: 2020-09-30
• 公開(kāi)（公告）號(hào): CN112132856A
• 公開(kāi)（公告）日: 2020-12-25
• 發(fā)明（設(shè)計(jì)）人: 楊金福;李亞萍;李智勇;李明愛(ài)
• 申請(qǐng)（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號(hào): G06T7/20
• 分類號(hào): G06T7/20
• 代理公司: 北京思海天達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11203
• 代理人: 吳蔭芳

1.一種基于自適應(yīng)模板更新的孿生網(wǎng)絡(luò)跟蹤方法，其特征在于，基于目標(biāo)跟蹤模型，所述目標(biāo)跟蹤模型包括孿生跟蹤模塊、軌跡預(yù)測(cè)模塊和模板更新模塊，其中，

所述孿生跟蹤模塊用于輸出目標(biāo)模板在當(dāng)前原始視頻幀的搜索區(qū)域中預(yù)測(cè)的目標(biāo)跟蹤邊界框，輸入為當(dāng)前原始視頻幀中的搜索區(qū)域，以及目標(biāo)模板，目標(biāo)模板的初始值從第一幀中獲取；

所述軌跡預(yù)測(cè)模塊用于判斷當(dāng)前目標(biāo)模板是否需要更新，輸入為歷史目標(biāo)跟蹤信息，輸出為一個(gè)二值變量，用來(lái)控制模板更新模塊的啟動(dòng)；所述歷史目標(biāo)跟蹤信息包括孿生跟蹤模塊在歷史時(shí)刻處理視頻幀輸出的歷史目標(biāo)跟蹤邊界框，和孿生跟蹤模塊在當(dāng)前時(shí)刻處理視頻幀中間過(guò)程生成的響應(yīng)圖；

所述模板更新模塊用于生成新的目標(biāo)模板，輸入包括當(dāng)前時(shí)刻孿生跟蹤模塊的輸入目標(biāo)模板和輸出的目標(biāo)跟蹤邊界框，以及原始視頻幀，輸出為更新后的目標(biāo)模板，用于下一時(shí)刻視頻幀的跟蹤；

具體步驟包括：

(1)將待跟蹤的視頻幀和目標(biāo)模板輸入到孿生跟蹤模塊中，輸出預(yù)測(cè)的目標(biāo)跟蹤邊界框；

(2)將歷史跟蹤信息輸入到軌跡預(yù)測(cè)模塊中，輸出二值變量，判斷是否啟動(dòng)模板更新模塊；

(3)若啟動(dòng)了模板更新模塊，模板更新模塊對(duì)當(dāng)前幀使用的目標(biāo)模板進(jìn)行更新，更新后的目標(biāo)模板代替更新前的目標(biāo)模板作為孿生跟蹤模塊的輸入；

(4)每到來(lái)一個(gè)新的視頻幀，就重復(fù)(1)-(3)的步驟。

2.根據(jù)權(quán)利要求1所述的基于自適應(yīng)模板更新的孿生網(wǎng)絡(luò)跟蹤方法，其特征在于，所述的孿生跟蹤模塊包括兩個(gè)分支及三個(gè)區(qū)域提議網(wǎng)絡(luò)單元，每個(gè)分支即為一個(gè)特征提取單元，第一分支用于提取目標(biāo)模板的特征，輸入為目標(biāo)模板，第二分支用于提取搜索區(qū)域的特征，輸入為搜索區(qū)域；每個(gè)分支提取三種特征，分別是局部特征、全局特征和融合特征；所述的三個(gè)區(qū)域提議網(wǎng)絡(luò)單元是級(jí)聯(lián)結(jié)構(gòu)，通過(guò)多級(jí)回歸操作輸出最終的目標(biāo)跟蹤邊界框；第一個(gè)單元的輸入是目標(biāo)模板和搜索區(qū)域的局部特征，輸出初步的分類預(yù)測(cè)信息和回歸信息，第二個(gè)單元的輸入是搜索區(qū)域和目標(biāo)模板的全局特征，輸出進(jìn)一步的分類預(yù)測(cè)信息和回歸信息，第三個(gè)單元的輸入是搜索區(qū)域和目標(biāo)模板的融合特征，三個(gè)單元的分類預(yù)測(cè)信息加權(quán)相加，三個(gè)單元的回歸信息加權(quán)相加，即為最終的目標(biāo)跟蹤邊界框回歸信息。

3.根據(jù)權(quán)利要求2所述的基于自適應(yīng)模板更新的孿生網(wǎng)絡(luò)跟蹤方法，其特征在于，所述特征提取單元采用Resnet-16模型，該模型包括多個(gè)卷積層和一個(gè)融合子單元；經(jīng)過(guò)conv3得到局部特征，經(jīng)過(guò)conv6得到全局特征，經(jīng)過(guò)融合子單元得到融合特征；所述融合子單元獲取融合特征的過(guò)程為：

(1)先通過(guò)互相關(guān)操作計(jì)算搜索區(qū)域和目標(biāo)模板對(duì)應(yīng)的全局特征之間的相似概率圖；

(2)然后通過(guò)相似概率圖對(duì)局部特征進(jìn)行選擇；所述選擇的過(guò)程是將概率圖中的概率作為權(quán)重，對(duì)局部特征圖進(jìn)行加權(quán)賦值；

(3)最后將選擇后的局部特征與對(duì)應(yīng)的全局特征進(jìn)行加權(quán)相加。

4.根據(jù)權(quán)利要求1所述的基于自適應(yīng)模板更新的孿生網(wǎng)絡(luò)跟蹤方法，其特征在于，所述軌跡預(yù)測(cè)模塊的工作過(guò)程如下：

(1)將孿生跟蹤模塊中間過(guò)程得到的響應(yīng)圖中響應(yīng)值最大的k個(gè)位置映射到原始視頻幀中，分別以這k個(gè)位置為中心通過(guò)預(yù)設(shè)的Q種不同比例邊界框，獲得K*Q個(gè)位置向量；

(2)將所述k*Q個(gè)位置向量與相鄰T幀的歷史跟蹤邊界框數(shù)據(jù)進(jìn)行歸一化和數(shù)據(jù)解析處理；

(3)將經(jīng)過(guò)處理的數(shù)據(jù)輸入到長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)中，輸出一個(gè)k*Q維的概率向量；

(4)比較概率向量中大于閾值Y的比例，如果大于比例閾值，就將二值變量設(shè)置為1，表示啟動(dòng)模板更新模塊；否則，不啟動(dòng)模板更新模塊。

5.根據(jù)權(quán)利要求1所述的基于自適應(yīng)模板更新的孿生網(wǎng)絡(luò)跟蹤方法，其特征在于，所述模板更新模塊的工作過(guò)程如下：

(1)將當(dāng)前時(shí)刻孿生跟蹤模塊的輸入目標(biāo)模板稱為當(dāng)前目標(biāo)模板，將更新后的模板稱為下一時(shí)刻目標(biāo)模板，將當(dāng)前時(shí)刻視頻幀跟蹤到的目標(biāo)邊界框映射到原始視頻幀中，截取出和更新前目標(biāo)模板大小一致的圖像塊，稱為候選目標(biāo)模板；

(2)經(jīng)過(guò)特征提取單元分別提取出與候選目標(biāo)模板對(duì)應(yīng)的局部特征、全局特征和融合特征，所述特征提取單元與孿生跟蹤模塊中的特征提取單元共享參數(shù)；

(3)將候選目標(biāo)模板的局部特征、全局特征和融合特征分別與當(dāng)前目標(biāo)模板進(jìn)行加權(quán)相加，輸出得到下一時(shí)刻模板。