[發明專利]一種漂移檢測的殘差深度特征目標跟蹤方法

有效

• 申請號: 201810558287.8
• 申請日: 2018-06-01
• 公開（公告）號: CN108961308B
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 胡昭華;鄭偉;錢坤
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06K9/62
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 朱楨榮

1.一種漂移檢測的殘差深度特征目標跟蹤方法，其特征在于，包括以下步驟：

步驟一、訓練殘差深度特征網絡；

殘差深度特征網絡的結構包括4個卷積層、2個全連接層和1個殘差結構；4個卷積層分別是conv1、conv2、conv3和conv4，2個全連接層分別是fc5和fc6，其中，conv1、conv2、conv3和conv4分別為第一卷積層、第二卷積層、第三卷積層和第四卷積層，fc5為第一全連接層，fc6為第二全連接層、也是網絡輸出層；

conv1、conv2、conv3、conv4、fc5和fc6依次順序連接，殘差結構用于將第二卷積層輸出特征與第四卷積層輸出特征進行線性相加，再通過激活函數輸出，實現不同層的輸出特征融合，對目標和背景進行分類；

步驟二、從當前幀裁剪得到的樣本集，該樣本集輸入步驟一訓練得到的殘差深度特征網絡，輸出殘差深度特征網絡conv4的值，conv4輸出值與相對應的回歸標簽構成訓練樣本集，根據訓練樣本集訓練目標模板并且定位當前幀目標；

步驟二具體如下：

設訓練樣本集為(X,Y)，從當前幀裁剪得到的樣本集，該樣本集輸入到步驟一訓練完成的殘差深度特征網絡，殘差深度特征網絡中的conv4層輸出的值為樣本集特征X，Y表示X對應的回歸標簽；訓練樣本集中第i個樣本表示為(x_i,y_i)，其中，x_i表示訓練樣本集中第i個特征，y_i表示x_i對應的回歸標簽，i＝1,2,…N，N為訓練樣本總數；

訓練樣本集線性可分時，線性回歸函數表示為f(x_i)＝w^Tx_i，上標T表示轉置，通過求解公式(1)，即最小化損失函數，確定w；

其中，f(x_i)表示x_i對應的預測回歸標簽，λ代表正則化系數，w表示權重系數，公式(1)寫成矩陣形式為

其中X＝[x₁,x₂,...,x_N]^T，X中每一行代表一個訓練樣本，Y是列向量，Y中列向量的每個元素代表X中行代表的訓練樣本對應的回歸標簽，求解公式(2)得目標模板

w＝(X^HX+λI)^-1X^HY (3)

其中上標H表示復共軛轉置，I表示單位矩陣；

涉及到求逆運算，引入循環矩陣，訓練樣本集中的所有樣本是由定義所跟蹤的目標在圖片中位置樣本循環移位所得，定義跟蹤的目標在圖片中的位置的樣本記為目標樣本；所有的循環矩陣都能夠在傅氏空間中使用離散傅里葉矩陣進行對角化，則

其中，X_p是目標樣本循環移位得到的訓練樣本集，每一行代表一個訓練樣本，x_p代表目標樣本，初始幀的目標樣本是根據給定的需要定位的目標位置得到，隨后的目標樣本是根據當前幀的前一幀預測的位置得出置，是x_p的傅里葉變換，上標∧均表示傅里葉變換，F是傅里葉變換矩陣；初始幀確定的訓練樣本集對應的回歸標簽記為y，帶入公式(3)解得目標模板為

其中上標*表示共軛，⊙表示點乘；

若遇到訓練樣本集線性不可分，引入核函數φ(X_p)，訓練樣本集X_p映射到核空間線性可分；令K表示核空間的核矩陣，

其中表示X_p在變換空間上的自相關，若是循環矩陣，則目標模板

檢測階段得到測試樣本集Z_P的響應矩陣，Z_P是在檢測階段，根據上一幀預測當前幀目標位置確定的目標樣本z_p循環移位得到的測試樣本集，表示X_P和Z_P在變換空間上的互相關；

響應矩陣f_p計算如公式(9)所示，

其中，φ(Z_p)表示測試樣本集Z_p映射到核空間，則預測目標位置是f_P中元素最大值位置，即

其中，p(r,c)表示預測出的目標位置；

步驟三、檢測模型漂移策略；

通過確定響應矩陣的峰值強度PSR連續下降現象來確定目標模板出現問題的位置；具體如下：

響應矩陣f_p是由當前幀測試樣本集和初始幀訓練樣本集，根據計算得出，其中，Z_P為測試樣本集，X_P為訓練樣本集，K表示核空間的核矩陣，上標∧均表示傅里葉變換；表示訓練樣本集X_p和測試樣本集Z_P在傅里葉變換域的互相關計算，其中表示X_P進行傅里葉變換，表示Z_P進行傅里葉變換；

響應矩陣的峰值強度計算如下式所示，

其中PSR為峰值強度，max_f_p表示響應矩陣f_p中元素最大值，μ表示f_p中旁瓣的平均值，σ表示f_p中旁瓣的標準差；

定義一個響應強度下降計數器counter，初始幀數值為0，設置計數器閾值為η，通過計數器的數值判斷PSR連續下降的現象是否出現；設第t幀的PSR為a，第(t+1)幀的PSR為b，若b-a＜0，則counter數值加1，若b-a＞＝0，則counter數值變為0，每一幀計算響應矩陣，計算counter數值，若counter＞η，判斷當前幀跟蹤出現問題，上一幀更新的目標模板不適合定位當前幀目標，出現模型漂移；

步驟四、更新目標模型；

目標模型包含目標模板和外觀模型，通過更新目標模板和外觀模型實現對目標的精確跟蹤；

若counter＜＝η，判斷當前幀定位準確，計算目標位置其中，r,c分別表示目標位置坐標的橫坐標和縱坐標，按照以下公式對第(t+n)幀進行目標模板和外觀模型的更新，其中n≥1；

model_w_t+n＝(1-γ)model_w_t+n-1+γw_t+n

model_x_t+n＝(1-γ)model_x_t+n-1+γx_t+n

其中model_w_t+n-1表示第(t+n-1)幀的目標模板，w_t+n表示第(t+n)幀的目標模板，model_w_t+n表示更新后的目標模板；model_x_t+n-1表示第(t+n-1)幀的外觀模型，x_t+n表示第(t+n)幀的外觀模型，model_x_t+n表示更新后的外觀模型，γ表示比例系數，是決定前一幀模板信息與當前幀模板信息的融合權重；

若counter＞η，判斷當前幀定位不準確，計算目標位置按照以下公式進行目標模板和外觀模型的更新；

model_w_t+n＝model_w_t+n-η

model_x_t+n＝model_x_t+n-η

目標模板和外觀模型更新后，在下一幀圖像，實現目標定位，再進行目標模板和外觀模型更新，直至所有圖像完成目標跟蹤。