[發(fā)明專利]一種基于內(nèi)部裁剪和多層特征信息融合的目標(biāo)跟蹤方法

有效

• 申請?zhí)枺?/td>: 201910738616.1
• 申請日: 2019-08-12
• 公開（公告）號: CN110570458B
• 公開（公告）日: 2022-02-01
• 發(fā)明（設(shè)計）人: 梁超;張精制;阮威健;孫志宏;虞吟雪;林子琪
• 申請（專利權(quán)）人: 武漢大學(xué)
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 胡琦旖

1.一種基于內(nèi)部裁剪和多層特征信息融合的目標(biāo)跟蹤方法，其特征在于，包括以下步驟：

步驟1、獲取視頻序列數(shù)據(jù)集，根據(jù)所述視頻序列數(shù)據(jù)集構(gòu)成訓(xùn)練集；

步驟2、構(gòu)建孿生網(wǎng)絡(luò)，所述孿生網(wǎng)絡(luò)的基礎(chǔ)骨干采用經(jīng)內(nèi)部裁剪單元改進后的ResNet18特征提取網(wǎng)絡(luò)和RPN網(wǎng)絡(luò)的組合；

所述孿生網(wǎng)絡(luò)包括模板分支和搜索分支；

所述模板分支、所述搜索分支均包括conv1、conv2、conv3三個階段，兩個所述conv2分別與第一RPN模塊連接，兩個所述conv3分別與第二RPN模塊連接；

所述模板分支的conv1用于特征圖的下采樣，conv2用于淺層空間特征的提取，conv3用于深層語義特征的提取；

所述搜索分支的conv1用于特征圖的下采樣，conv2用于淺層空間特征的提取，conv3用于深層語義特征的提取；

所述第一RPN模塊用于利用淺層空間特征進行候選框的分類與位置回歸，所述第二RPN模塊用于利用深層語義特征進行候選框的分類與位置回歸；

池化層用于特征圖下采樣，分類分支用于判斷候選框是目標(biāo)還是背景，回歸分支用于獲取候選框的坐標(biāo)和尺寸信息；

步驟3、基于所述訓(xùn)練集，訓(xùn)練所述孿生網(wǎng)絡(luò)，獲得訓(xùn)練收斂的孿生網(wǎng)絡(luò)模型；

步驟4、利用所述孿生網(wǎng)絡(luò)模型進行在線跟蹤。

2.根據(jù)權(quán)利要求1所述的基于內(nèi)部裁剪和多層特征信息融合的目標(biāo)跟蹤方法，其特征在于，所述步驟1包括：

步驟1.1、根據(jù)視頻序列數(shù)據(jù)集的標(biāo)注信息，獲得目標(biāo)中心位置和尺寸信息；

步驟1.2、根據(jù)所述目標(biāo)中心位置和尺寸信息，通過裁剪、縮放處理獲得所述視頻序列數(shù)據(jù)集中所有視頻序列圖像的模板圖像和搜索圖像，所述模板圖像和搜索圖像組成的成對圖像構(gòu)成所述訓(xùn)練集。

3.根據(jù)權(quán)利要求2所述的基于內(nèi)部裁剪和多層特征信息融合的目標(biāo)跟蹤方法，其特征在于，所述步驟1.2中包括：

以目標(biāo)中心位置為中心，以第一邊長截取正方形區(qū)域；其中，p為擴充的上下文區(qū)域大小，p＝(w+h)/2，w為目標(biāo)矩形的寬，h為目標(biāo)矩形的長；

對于所述模板圖像，將所述正方形區(qū)域的邊長放縮s₁倍，將所述模板圖像的邊長調(diào)整為127；

對于所述搜索圖像，對邊長為所述第一邊長sz的正方形區(qū)域的周圍再次進行擴充，擴充后得到第二邊長sx＝sz+2*pad，對所述第二邊長放縮s₂倍，將所述搜索圖像的邊長調(diào)整為255；其中，pad為搜索圖像擴充的上下文區(qū)域大小，pad＝(255-127)/2s₁。

4.根據(jù)權(quán)利要求3所述的基于內(nèi)部裁剪和多層特征信息融合的目標(biāo)跟蹤方法，其特征在于，如果所述模板圖像或所述搜索圖像的擴充區(qū)域超過圖像邊界，則以圖像的RGB三通道的平均值進行補齊。

5.根據(jù)權(quán)利要求1所述的基于內(nèi)部裁剪和多層特征信息融合的目標(biāo)跟蹤方法，其特征在于，所述步驟4包括：

步驟4.1、根據(jù)待測視頻序列的第一幀構(gòu)建模板圖像，用于確定待跟蹤目標(biāo)和附近上下文信息；

步驟4.2、將第一幀構(gòu)建的模板圖像送入訓(xùn)練收斂的孿生網(wǎng)絡(luò)的模板分支，提取模板圖像的特征，獲得模板圖像的特征圖；

步驟4.3、根據(jù)待測視頻序列后續(xù)的每一幀分別構(gòu)建搜索圖像，用于構(gòu)造目標(biāo)的搜索范圍；

步驟4.4、將后續(xù)每一幀構(gòu)建的搜索圖像分別送入訓(xùn)練收斂的孿生網(wǎng)絡(luò)的搜索分支，提取搜索圖像的特征，獲得搜索圖像的特征圖；

步驟4.5、將所述模板圖像的特征圖作為卷積核，對所述搜索圖像的特征圖進行卷積操作，計算區(qū)域相似性，得到目標(biāo)的位置與尺度。

6.根據(jù)權(quán)利要求5所述的基于內(nèi)部裁剪和多層特征信息融合的目標(biāo)跟蹤方法，其特征在于，所述步驟4.5中，使用尺度懲罰抑制目標(biāo)尺度過大的變化，使用余弦窗抑制目標(biāo)位移過大的變化，使用非極大抑制進行去重，最后選取分值最高的anchor作為目標(biāo)在下一幀的位置。