[發明專利]結合模板更新與軌跡預測的孿生網絡目標跟蹤方法

在審

• 申請號: 202211647387.0
• 申請日: 2022-12-21
• 公開（公告）號: CN115953570A
• 公開（公告）日: 2023-04-11
• 發明（設計）人: 賀王鵬;胡德順;周悅
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V10/22
• 分類號: G06V10/22;G06V10/40;G06V10/75;G06V10/764;G06V10/82;G06N3/08
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 王丹

1.結合模板更新與軌跡預測的孿生網絡目標跟蹤方法，其特征在于，包括以下步驟：

步驟1、建立目標跟蹤模型，所述目標跟蹤模型包括特征提取分支、正負樣本分類分支及位置信息回歸分支；

步驟2、框選初始幀圖像x₀目標邊界框，在所述初始幀圖像x₀目標邊界框的中心位置裁剪得到模板圖像，并進行模板圖像的特征提取，得到模板圖像特征；

步驟3、初始化卡爾曼濾波器，將所述初始幀圖像x₀目標邊界框的中心位置輸入卡爾曼濾波器，預測得到下一幀圖像x_t,t＝1…n目標中心位置；

步驟4、獲取下一幀圖像x_t，根據前一幀圖像x_t-1目標邊界框的中心位置和當前幀圖像x_t目標中心位置融合出當前幀圖像x_t的目標搜索中心位置，在所述目標搜索中心位置裁剪得到搜索圖像，對所述搜索圖像進行特征提取，得到搜索圖像特征；

步驟5、將所述模板圖像特征與搜索圖像特征進行互相關操作，得到響應圖；將所述響應圖分輸入目標跟蹤模型中得到當前幀圖像x_t的分類圖和回歸圖，利用余弦窗和尺度變化懲罰平滑目標運動，然后根據分類圖中得分最高的位置在回歸圖中選取對應的回歸位置信息，預測得到當前幀圖像x_t目標邊界框；

步驟6、根據所述響應圖判斷是否需要進行模板圖像更新；若需要，則在當前幀圖像x_t目標邊界框的中心位置裁剪得到模板圖像，并提取模板圖像特征，更新模板圖像特征；否則不進行更新；

步驟7、獲取所述當前幀圖像x_t目標邊界框信息，將其轉化為圖像的位置和尺度信息，輸入卡爾曼濾波器，預測得到下一幀圖像x_t+1中目標的軌跡位置，并確定下一幀圖像x_t+1目標中心位置；若跟蹤完成，結束跟蹤；否則進行下一步；

步驟8、令t＝t+1，重復步驟4-7，直至跟蹤完成。

2.根據權利要求1所述的結合模板更新與軌跡預測的孿生網絡目標跟蹤方法，其特征在于，步驟1中建立目標跟蹤模型過程包括：

獲取訓練數據集，對所述訓練數據集進行預處理，將預處理后的訓練數據集輸入目標跟模型中，分別進行正負樣本的分類訓練、位置信息的回歸訓練，所述目標跟蹤模型的損失函數為L＝L_cls+L_reg；

其中，分類損失函數

上式中，N為樣本總數量，y_i為樣本i的標簽，正樣本為1，負樣本為0，p_i為樣本i預測為正樣本的概率；

回歸損失函數定義為L_reg＝1-IoU；

上式中，|A∩B|表示預測目標邊界框與實際目標邊界框的交集，|A∪B|表示預測目標邊界框與實際目標邊界框的并集。

3.根據權利要求2所述的結合模板更新與軌跡預測的孿生網絡目標跟蹤方法，其特征在于，預處理方法為：將所述訓練數據集中的圖片進行裁剪，同時進行數據增強處理。

4.根據權利要求1所述的結合模板更新與軌跡預測的孿生網絡目標跟蹤方法，其特征在于，步驟6中通過APCE對響應圖進行判斷：

上式中，F_max、F_min及F_w,h分別代表響應圖中的最大值、最小值及位于(w,h)坐標處的值。

5.根據權利要求1所述的結合模板更新與軌跡預測的孿生網絡目標跟蹤方法，其特征在于，步驟6中更新模板圖像特征的公式為：

上式中，η為模板圖像的更新步長，β₁和β₂分別為判斷APCE和F_max是否進行更新的比例閾值，APCE^avg、分別為歷史平均APCE值、歷史平均F_max值。