[發明專利]一種基于時間和空間網絡的深度集成目標跟蹤算法

在審

• 申請號: 201910546908.5
• 申請日: 2019-06-25
• 公開（公告）號: CN110569706A
• 公開（公告）日: 2019-12-13
• 發明（設計）人: 胡昭華;陳胡欣;李高飛
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 32252 南京鐘山專利代理有限公司
• 代理人: 戴朝榮

1.一種基于時間和空間網絡的深度集成目標跟蹤算法，其特征在于，包括以下步驟：

S1：利用VGG-16網絡提取深度特征并得到特征映射圖；

S2：構建由相關濾波網絡、時間網絡以及空間網絡構成的深度網絡；

S3：將特征映射圖送入由相關濾波網絡、時間網絡以及空間網絡連接成的深度網絡中，同時訓練模型，直到收斂為止；

S4：以前一幀預測的目標位置為中心在當前幀的圖片中提取搜索塊p1，以前一幀預測的目標位置為中心在前一幀的圖片中提取搜索塊p2，用VGG-16網絡提取搜索塊p1和搜索塊p2的特征送入與之對應訓練好的模型中來生成響應映射，每個模型視為弱跟蹤器，利用自適應權重的集成學習算法融合所有弱跟蹤器得到最終的目標位置，采用尺度估計算法對目標大小進行預測；

S5：利用搜索塊p1、搜索塊p2和預測值組成訓練對，輸入到模型中進行在線更新。

2.根據權利要求1所述的一種基于時間和空間網絡的深度集成目標跟蹤算法，其特征在于：步驟S1具體為：

S11：VGGNet網絡構筑16～19層深的卷積神經網絡；

S12：去除第三層和第五層的池化層以及全連接層，分別從第三、四、五層提取特征映射圖；

S13：通過主成分分析算法將提取到的特征進行降維，使卷積層通道數降至64維。

3.根據權利要求1所述的一種基于時間和空間網絡的深度集成目標跟蹤算法，其特征在于：步驟S2具體為：

S21：構建相關濾波網絡，根據相關濾波算法的跟蹤原理得到相關濾波器Ω的最小化目標函數Ω′：

其中X表示輸入樣本，Y表示對應的高斯函數標簽，*表示卷積，λ表示正則化參數，Ω表示相關濾波器，Ω′表示相關濾波器的最小化目標函數；

將相關濾波跟蹤算法的學習過程重新定義為卷積神經網絡的代價函數最小化問題，則代價函數的一般形式為：

其中Θ表示卷積濾波器，J(Θ)表示卷積濾波器的代價函數，M是樣本的數量，X⁽ⁱ⁾表示第i個輸入樣本，Y⁽ⁱ⁾表示第i個樣本所對應的高斯標簽，L()代表樣本的損失函數，F()是樣本的網絡輸出即預測值，P()是正則化函數，令M＝1，采用l₂損失函數，將l₂范數作為正則化函數，公式(2)改寫為如下形式：

J(Θ)＝||F(X；Θ)-Y||²+λ||Θ||² (3)

公式(3)中當輸入樣本X通過一個卷積層時，其網絡輸出F(X；Θ)＝Θ*X，其中的卷積濾波器Θ等價于公式(1)中的相關濾波器Ω′，相關濾波算法中的目標函數也等價于網絡中的代價函數，將相關濾波算法表示成一層卷積神經網絡，該網絡為相關濾波網絡；

S22：在相關濾波網絡的基礎上通過Conv_21、Conv_22和Conv_23三層卷積神經網絡框架構成空間網絡，Conv_21和Conv_22對空間信息進行整合，Conv_23對前一個卷積層通道數降維至與相關濾波網絡的輸出維數保持一致；

S23：在相關濾波網絡的基礎上通過Conv_31卷積神經網絡構成時間網絡；

S24：深度網絡最終得到的響應映射為：

F(X_t)＝F_spatial(X_t)+F_CF(X_t)+F_temporal(X_t-1) (4)

其中X_t代表當前幀的特征映射圖，X_t-1代表前一幀的特征映射圖，F_spatial()代表空間網絡的輸出，F_CF()代表相關濾波網絡的輸出，F_temporal()表示時間網絡的輸出，F(·)表示深度網絡最終響應映射。