[發明專利]一種基于魯棒特征表示的孿生匹配網絡的目標跟蹤方法

有效

• 申請號: 201910484150.7
• 申請日: 2019-06-05
• 公開（公告）號: CN110223324B
• 公開（公告）日: 2023-06-16
• 發明（設計）人: 楊國瑞;吳贇;蔣學芹;白恩健
• 申請（專利權）人: 東華大學
• 主分類號: G06T7/246
• 分類號: G06T7/246
• 代理公司: 上海申匯專利代理有限公司 31001
• 代理人: 翁若瑩;柏子雵

1.一種基于魯棒特征表示的孿生匹配網絡的目標跟蹤方法，其特征在于，包括以下步驟：

步驟1、數據預處理：在用于目標追蹤的視頻中以當前幀的前一幀推斷出的目標位置為中心，在當前幀中裁剪出兩倍于目標大小的區域作為搜索區域，在搜索區域內采樣出候選樣本區域；

步驟2、構建孿生匹配網絡，包括以下步驟：

步驟201、設計孿生匹配網絡的網絡結構，孿生匹配網絡由候選區域提出層、卷積層和LSTM模型層組成；候選區域提出層采用的是由粗到精的搜索方式來采樣候選樣本，卷積層使用不同層次的特征代表對象的外觀，LSTM模型層對于候選樣本和目標對象分別采用了雙向LSTM和attention?LSTM來編碼，最后通過計算候選樣本和目標模板的特征向量的余弦距離來得到最相似的樣本作為跟蹤目標；

步驟202、構建訓練集，從訓練集中獲得多對訓練樣本，作為孿生匹配網絡兩個分支的輸入；訓練集采集方法為從視頻中的每兩幀開始，生成多對框，一對框中一個是一幀中的真實邊界框，另一個是在另一幀中采樣的候選框，同時使用置信決策方法，利用相似度的值決定是否更新目標模型，具體包括以下步驟：

若相似度小于0.5，則認為當前幀發生了誤匹配，此時不更新目標模型；若相似度大于0.8，則認為當前幀的匹配結果較為準確，目標模型無需更新；若相似度在(0.5,0.8)之間，則利用公式P_t＝λP_t-1+(1-λ)Q對當前幀的目標模板P_t進行更新，式中，P_t-1為上一幀中目標模板，Q為當前幀中匹配到的目標模板，λ為更新權重；

步驟203、對步驟201構建的孿生匹配網絡進行訓練，更新網絡參數直至滿足收斂條件，以及調試優化超參數；

步驟3、在視頻測試集中進行目標跟蹤：在孿生匹配網絡訓練完后，將要跟蹤的目標區域裁剪出來作為孿生匹配網絡的一個輸入，當前幀搜索區域裁剪出來的候選樣本區域作為另一個輸入，通過網絡得到的魯棒特征向量來計算目標區域和候選樣本區域的相似度，找到相似度最高的候選樣本圖像，即可得到目標在當前幀的位置，函數Sim[x,x_i]反映了目標區域和候選樣本區域的相似程度，有：

Sim[x,x_i]＝C(f(x)g(x_i))

式中，x為目標圖像，x_i為候選樣本圖像，C為余弦距離，f(x)為對目標的特征表示函數，g(x_i)為對候選樣本的特征表示函數。

2.如權利要求1所述的一種基于魯棒特征表示的孿生匹配網絡的目標跟蹤方法，其特征在于，步驟1中，同時使用ROIPooling以便在一幀中快速處理多個區域以得到特征圖。

3.如權利要求1所述的一種基于魯棒特征表示的孿生匹配網絡的目標跟蹤方法，其特征在于，步驟1中，所述數據預處理步驟具體如下：

如果第t幀的目標對象邊界框具有中心(x_t,y_t)且其寬度和高度為W_t和H_t，則候選框采樣以(x_t,y_t)為中心，寬度和高度為2W_t和2H_t的區域內按步長Δ_s進行采樣。

4.如權利要求1所述的一種基于魯棒特征表示的孿生匹配網絡的目標跟蹤方法，其特征在于，步驟203中，對網絡進行訓練的具體步驟為：根據匹配網絡得到的相似度最大的候選樣本是否與目標真實區域的交叉聯合重疊最大來對網絡進行訓練，反向傳播的損失直接來源于匹配的結果；卷積層通過梯度下降的方法訓練，同時通過使用反向傳播時間最小化交叉熵損失來訓練長短期記憶層，基于訓練樣本重復更新網絡，直到網絡收斂或達到預定義的迭代次數。

5.如權利要求1所述的一種基于魯棒特征表示的孿生匹配網絡的目標跟蹤方法，其特征在于，步驟3中，對候選樣本的特征表示函數g(x_i)具體由以下步驟表示：

步驟301、使用卷積層提取候選目標的原始特征g'(x)，每個候選樣本x_i維護四個狀態變量分別是前向隱狀態后向隱狀態前向記憶以及后向記憶

步驟302、前向變量由前一個參考樣本的隱狀態和上下文經過LSTM模型得到，當前樣本的原始特征作為輸入，如下式：

式中，LSTM表示LSTM模型；

步驟303、后向變量由后一個參考樣本的隱狀態和記憶經過LSTM模型確定，當前樣本的原始特征作為輸入，如下式：

步驟304、候選樣本特征表示由其隱狀態和原始特征共同決定，如下式：

式中，k表示樣本的數量；

步驟3中，對目標的特征表示函數f(x)具體由以下步驟表示：

步驟311、使用參數共享的卷積層提取目標對象的原始特征f′(x)，通過l＝1,2,...,L次迭代，使用一個注意力LSTM模型計算測試樣本的特征，每一步維護四個狀態變量，分別是隱變量h_l，讀數r_l以及記憶c_l；

步驟312、在第l步，用LSTM模型計算原始隱變量和記憶，如下式：

步驟313、加上原始特征，獲得第l步的隱變量，記為

步驟314、第l步的讀數是參考集特征的加權和，記為注意力函數是softmax形式，將所有參考集樣本歸一化，記為

步驟315、除了以測試樣本作為輸入，在每一個步驟中，還要根據LSTM的狀態h，決定把注意力放在哪一些參考集樣本上，最后一步的讀數即為目標對象特征，即