[發明專利]基于深度交叉相似匹配的在線視頻目標跟蹤方法

有效

• 申請號: 201910247984.6
• 申請日: 2019-03-29
• 公開（公告）號: CN109993774B
• 公開（公告）日: 2020-12-11
• 發明（設計）人: 盧湖川;王璐瑤
• 申請（專利權）人: 大連理工大學
• 主分類號: G06T7/246
• 分類號: G06T7/246
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 溫福雪;侯明遠

1.一種基于深度交叉相似匹配的在線視頻目標跟蹤方法，其特征在于，步驟如下：

(1)計算目標模板與候選樣本的交叉相似性

(1.1)輸入數據準備

在離線訓練階段，從開源的已標注視頻數據集中選取多段視頻序列，包含不同種類的目標，在視頻序列中隨機選取某一幀圖像，按照目標矩形框截取圖像，尺寸縮放到127×127，定義為目標區域在目標中心位置，以目標框對角線h倍大小對圖像進行截取，h1，尺寸縮放到255×255，定義為搜索區域隨機抽取到來自同一段視頻序列的T_in和C_in視為正樣本對，不同視頻序列的T_in和C_in作為負樣本對，大量隨機正負樣本對共同構成訓練集，在交叉熵損失函數的約束下，離線訓練階段使特征提取模塊具備對同一目標的基本識別匹配能力；

在在線測試階段，T_in始終選用第一幀中截取的目標區域，在跟蹤過程中以疊加的方式對其進行小幅度更新；而搜索區域C_in則不斷依照上一幀的跟蹤預測位置進行截??；

(1.2)特征提取模塊

特征提取模塊是一個雙路卷積神經網路，上下兩路分支參數共享、結構一致，均由5層卷積層構成，上路輸入為目標區域T_in，下路輸入為搜索區域C_in，經過該特征提取模塊后得到對應特征：目標模板以及候選樣本在類別多樣、數量龐大的訓練數據以及離線監督訓練基礎上，所得深度特征對通用物體具備基本的識別能力；其中，表示目標模板中的第i個特征向量，對應著輸入T_in的一個局部子區域；代表F_x中以第k個位置為中心的候選樣本，表示第k個候選樣本中的第j個特征向量，當i＝j時稱作目標模板和候選樣本的對應位置，同理i≠j時稱作目標模板和候選樣本的非對應位置；

(1.3)計算交叉相似性

獲取深度特征后F_z與F_x后，對其進行交叉相似度的計算，得到大小為m²×m²×s²的交叉相似矩陣：

該交叉相似矩陣的其中一個切片S(:,:,k)表示目標模板F_z和第k個候選樣本的m²×m²個交叉相似結果，為了避免嵌套三層循環，通過把公式(1)等價地分解為兩步；

第一步，不再對候選樣本進行分解，直接與目標模板F_z進行矩陣乘法運算，覆蓋所有兩兩交叉相似的計算過程：

M＝F_z(F_x)^T (2)

由于鄰近的候選樣本之間一定存在重疊面積，這一步省略對公共區域的重復冗余計算，但是得到的中間結果M失去候選樣本的空間位置關系；

第二步，把中間結果M通過固定的位置映射矩陣，該位置映射矩陣的行、列索引對應交叉相似矩陣中的前兩維S(i,j,:)，而位置映射矩陣中存放的元素則是對相應的中間結果M中相似結果的索引值，通過該位置映射矩陣的轉換關系，順利地將中間結果M轉化為公式(1)中可區分不同樣本空間位置的交叉相似矩陣S；

(2)設計注意力層為交叉相似性分配權重

在線測試階段，依據空間位置關系的約束，自適應地為正確但不顯著的目標相似性分配高權重，為錯誤但峰值突出的噪聲相似性分配低權重；該權重系數用類單位矩陣來表示，也就是注意力層的參數，其參數值在跟蹤過程中隨著候選樣本的變化而進行更新調整；

(2.1)計算響應圖

離線訓練完成后，將特征提取模塊中的所有參數固定，而注意力層參數重新初始化為在所設計的正則化交叉熵損失函數的約束下，得到的W對角線元素值較高，降低邊緣背景出現異常峰值，對角線周圍元素值為保證匹配損失代價最低的最優值，即使目標發生局部形變或位移仍能捕捉到相似性；

交叉相似層相當于從外觀表示的角度對特征進行強化，而注意力層則從空間位置關系的角度為交叉相似性自適應地分配權重，最后把每一個候選樣本與目標模板內部的m²×m²個交叉相似結果求和，放在響應圖中候選樣本中心所在位置，代表該候選樣本的最終匹配得分，再從s²個匹配結果中選擇值最大者，其所在位置即與目標模板匹配度最高的候選樣本，按照特征提取模塊下采樣的步長大小映射到原圖，得到當前幀對目標位置的預測：

其中，W_ij表示目標模板第i個位置與候選樣本第j個位置的相似性對應的權重值，r_k表示第k個候選樣本即響應圖中第k個位置與目標模板的最終相似得分；

(2.2)尺度估計

得到目標中心位置后，還需要給出目標框的大小，在跟蹤中稱為尺度估計；為了加速離線訓練進程，每次輸入多對樣本，加上RGB三通道圖像形成4維張量，這種訓練方式稱作批量隨機梯度下降優化方法；而在線測試階段每一幀只有一對測試樣本，在同一位置截取不同尺度大小的搜索區域再縮放到標準輸入大小，疊放后送入特征提取模塊同樣形成4維輸入，最終響應值最大者對應尺度用于預測輸出；

(3)離線監督訓練以及在線參數更新

(3.1)帶有參數正則化項的交叉熵損失函數

本方法的損失函數保證了在離線訓練階段特征提取模塊的參數具有對前景的識別能力、對正負樣本對的匹配能力；保證了跟蹤測試階段注意力層參數快速收斂到最優值，發揮對候選樣本局部相似性的補償糾正作用：

其中，是利用目標位置真值標簽y[p]對網絡所有參數進行約束；p表示坐標位置，P表示整個響應圖的范圍，y[p]∈{-1,+1}是中心高亮的二值矩陣，r[p]為公式(3)中s²個樣本響應構成的與真值標簽等大的響應圖；是對參數的直接約束，以單位矩陣I作為W的優化目標，乘以系數λ成為最終損失的正則化項；其中，q表示參數中每個元素坐標位置，Q表示參數W的所有索引范圍；超參數λ用于調整與的收斂步調；λ設置為0.9；使用隨機梯度下降法對參數進行在線更新，學習率設置為0.001，迭代次數不超過30次；

(3.2)參數更新

本方法選擇在響應圖的最大置信值可靠的時候在線對注意力層參數W進行更新，引入獨立的分類器對跟蹤結果打分從而給出當前置信值的可靠性，與閾值0作比較，可靠性為正且達到預設的更新間隔則利用當前結果為樣本對參數迭代更新。