[發(fā)明專利]融合目標顯著性和在線學習干擾因子的航拍目標跟蹤方法

在審

• 申請?zhí)枺?/td>: 202110095474.9
• 申請日: 2021-01-25
• 公開（公告）號: CN112836606A
• 公開（公告）日: 2021-05-25
• 發(fā)明（設計）人: 孫銳;方林鳳;梁啟麗;張旭東
• 申請（專利權）人: 合肥工業(yè)大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

1.一種融合目標顯著性和在線學習干擾因子的航拍目標跟蹤方法，其特征是按如下步驟進行：

步驟1、對全卷積孿生網(wǎng)絡進行通用特征的預訓練；

步驟1.1、獲取帶有標簽的航拍數(shù)據(jù)集，所述航拍數(shù)據(jù)集包含多個視頻序列，每個視頻序列包含多幀，選取一個視頻序列并作為當前視頻序列中抽取任意第i幀圖像與相鄰T幀圖像之內(nèi)的任意一幀圖像組成一個樣本對，從而將所述當前視頻序列中隨機抽取的圖像組成若干個樣本對，進而構(gòu)成訓練數(shù)據(jù)集；

步驟1.2、將所述訓練數(shù)據(jù)集的每個樣本對中的一幀圖像作為模板圖像，另一幀圖像作為搜索圖像；

步驟1.3、采用高斯分布隨機初始化全卷積孿生網(wǎng)絡的參數(shù)后，將每個樣本對輸入初始化后的全卷積孿生網(wǎng)絡中進行訓練，得到訓練好的最佳跟蹤模型；

步驟1.3.1、第i個樣本對經(jīng)過全卷積孿生網(wǎng)絡后生成響應圖υ[u_i]，u_i表示響應圖υ[u_i]中的第i個位置，響應圖υ[u_i]中第i個位置對應的真實標簽記為y[u_i]；

步驟1.3.2、利用邏輯損失函數(shù)計算全卷積孿生網(wǎng)絡中每個樣本對的損失l(y,υ)，其中，υ是一個樣本對的打分值，y是一個樣本對的真實標簽，且y∈{+1,-1}；

步驟1.3.3、構(gòu)建全卷積孿生網(wǎng)絡中如式(1)所示的訓練數(shù)據(jù)集的目標函數(shù)，并利用梯度下降算法對所述目標函數(shù)進行求解，從而得到最佳跟蹤模型；

式(1)中，x表示所述訓練數(shù)據(jù)集中所有樣本對的搜索圖像集；z表示所述訓練數(shù)據(jù)集中所有樣本對的模板圖像集，θ是模型參數(shù)，V是所有樣本對的打分值；

步驟2、對目標智能感知特征的預訓練；

步驟2.1、從帶標簽的航拍數(shù)據(jù)集中選取每個視頻序列的第一幀圖像組成訓練樣本集；

步驟2.2、將所述訓練樣本集中的所有樣本以其標簽中的目標為中心進行回歸處理，得到高斯圖，其中一個樣本Z的高斯圖記為其中，i,j表示當前像素點與所述中心的偏移量坐標，i≥0且i≤H，H表示垂直像素數(shù)，j≥0且j≤W，W表示水平像素數(shù)，σ為樣本標簽的高斯函數(shù)標準差；

步驟2.3、構(gòu)建由卷積層和全局平均池化層組成的深度網(wǎng)絡；

采用高斯分布隨機初始化所述深度網(wǎng)絡的參數(shù)后，將所述訓練樣本集中的每個樣本分別輸入初始化后的深度網(wǎng)絡中，并經(jīng)過所述卷積層和全局平均池化的處理后，得到的輸出預測Z_o再經(jīng)過嶺回歸損失函數(shù)和梯度傳播的處理，從而得到訓練好的目標智能感知網(wǎng)絡；

步驟2.3.1、利用式(2)構(gòu)建訓練樣本集的損失函數(shù)J：

J＝||Y-W*Z||²+λ||W||² (2)

式(2)中，*表示卷積運算，W為回歸參數(shù)，λ為正則化參數(shù)；

步驟2.3.2、利用式(3)計算損失函數(shù)J的梯度

步驟2.3.3、利用式(4)計算所述深度網(wǎng)絡中卷積層的第l個特征通道的重要性M_l并作為智能感知特征的最佳通道參數(shù)：

式(4)中，F(xiàn)_ap表示全局平均池化函數(shù)，F(xiàn)_l為第l個特征通道的輸出特征；

步驟3、將所述當前視頻序列中獲取的第1幀圖像作為模板幀z₁，除所述模板幀z₁之外的所有圖像均作為搜索幀，定義t為當前待搜索幀，并初始化t＝2；

步驟4、開始進行第t幀圖像的跟蹤；

步驟4.1、根據(jù)模板幀z₁的標簽所表示的目標位置和目標框，以模板幀z₁的目標框為中心進行裁剪作為目標模板x₁；

步驟4.2、當前待搜索幀為第2幀時，將當前待搜索幀的前一幀即為模板幀z₁的標簽表示的目標框為中心進行裁剪，得到當前待搜索幀的前一幀的待搜索區(qū)域x_t-1；

當前待搜索幀大于第2幀時，以當前待搜索幀的跟蹤結(jié)果作為預測目標框；將當前待搜索幀的前一幀以預測目標框為中心進行裁剪，得到當前待搜索幀的前一幀的待搜索區(qū)域x_t-1；

步驟4.3、當前待搜索幀為第2幀時，將當前待搜索幀以模板幀z₁的標簽表示的目標框為中心進行裁剪，得到第t幀圖像的待搜索區(qū)域x_t；

當前待搜索幀大于第2幀時，是將當前待搜索幀以當前待搜索幀的前一幀的預測目標框為中心進行裁剪，得到第t幀圖像的待搜索區(qū)域x_t；

步驟4.4、將第1幀圖像的目標模板x₁，第t幀圖像的待搜索區(qū)域x_t和第t-1幀圖像的待搜索區(qū)域x_t-1分別經(jīng)過所述最佳跟蹤模型進行特征提取，得到所述目標模板的特征O₁，當前待搜索區(qū)域特征O_t和第t-1幀圖像的待搜索區(qū)域特征O_t-1；

步驟4.5、將所述當前待搜索區(qū)域特征O_t經(jīng)過如式(5)所示的目標智能感知特征網(wǎng)絡的特征提取，得到目標智能感知特征O′_t：

O′_t＝f(O_t；M_l) (5)

式(5)中，f表示生成目標智能感知特征的函數(shù)；

步驟4.6、動態(tài)學習干擾因子S_t-1分支在線學習，詣在引導在線學習第一幀的目標與當前幀的前一幀目標的相似性；

步驟4.6.1、使用如式(6)所示的線性回歸計算第1幀圖像到第t-1幀圖像在時域所學習到的目標干擾因子S_t-1：

式(6)中，λ_s為正則化因子；S表示待優(yōu)化的參數(shù)；

步驟4.6.2、利用式(7)計算第1幀圖像到第t-1幀圖像在頻域速所學習到的目標干擾因子S′_t-1：

式(7)中，是離散傅里葉變換DFT，是DFT的逆變換，上標*表示復共軛；⊙表示點積；

步驟4.7、利用式(8)計算目標跟蹤響應結(jié)果res：

res＝corr(S_t-1*O₁,O′_t) (8)

式(8)中，corr為相似度度量函數(shù)；

步驟5、從t＝2,3,......,N開始，按照步驟4.3來重復進行第t+1幀圖像中目標的跟蹤，N表示當前視頻序列的總幀數(shù)。