[發明專利]一種基于樣本平衡的多層級回歸目標跟蹤方法和跟蹤系統

在審

• 申請號: 202210394687.6
• 申請日: 2022-04-15
• 公開（公告）號: CN114757970A
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 吳晶晶;楚喻棋;劉學亮;洪日昌;蔣建國;齊美彬
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/73;G06V10/44;G06V10/80;G06V10/764;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 常虹

1.一種基于樣本平衡的多層級回歸目標跟蹤方法，其特征在于，包括步驟：

S1、提取參考圖像的淺層特征R₁和深層特征R₂；分別根據R₁和R₂采用PrPool層獲取參考圖像中的目標框內區域的淺層特征a₁和深層特征a₂；

S2、提取搜索圖像的淺層特征S₁和深層特征S₂；獲取搜索圖像中的初始目標框，并對搜索圖像中的初始目標框進行擾動，生成多個候選框B_0i；i＝1,2,…,N，N為搜索圖像中候選框的個數；

S3、分別根據S₁和S₂采用PrPool層獲取搜索圖像中每個候選框內的淺層特征和深層特征，將第i個候選框B_0i內的淺層特征記為b_1i，深層特征記為b_2i；

將a₁與b_1i進行通道相乘，將a₂與b_2i進行通道相乘；將通道相乘的兩個結果調整為相同尺寸后進行級聯，得到候選框B_0i對應的第一融合特征f_i；

S4、對搜索圖像中的候選框進行第一階段優化：將第一融合特征f_i輸入第一頭網絡中，得到第一編碼融合特征f_i′；將f_i′輸入第一IoU預測單元，得到候選框B_0i的第一預測IoU值u_i；如果u_iU₁，對候選框B_0i采用第一邊界框回歸單元進行優化，得到優化后的候選框B_1i；U₁為第一IoU預測單元的IoU閾值；

S5、對第一階段優化后的候選框進行第二階段優化：分別根據S₁和S₂采用PrPool層獲取搜索圖像中優化候選框B_1i的淺層特征b′_1i和深層特征b′_2i；

將a₁與b′_1i進行通道相乘，將a₂與b′_2i進行通道相乘；將通道相乘的兩個結果調整為相同尺寸后進行級聯，得到優化候選框B_1i對應的第二融合特征g_i；將第二融合特征g_i輸入第二頭網絡中，得到第二編碼融合特征g′_i；

將g′_i輸入第二IoU預測單元，得到B_1i的第二預測IoU值v_i；如果v_iU₂，對B_1i采用第二邊界框回歸單元進行優化，得到優化后的候選框B_2i；U₂為第二IoU預測單元的IoU閾值，且U₂U₁；

S6、搜索圖像中的N個候選框經過步驟S4和S5后，得到多個優化候選框，選取其中第二預測IoU值最大的M個候選框，取平均后作為搜索圖像的最終目標框。

2.根據權利要求1所述的多層級回歸目標跟蹤方法，其特征在于，步驟S2中采用基于ATOM的在線分類器獲取搜索圖像中的初始目標框。

3.根據權利要求1所述的多層級回歸目標跟蹤方法，其特征在于，還包括：

S7、將搜索圖像作為參考圖像，將搜索圖像的下一幀圖像作為新的搜索圖像，重新執行步驟S1至S6，實現視頻中的目標跟蹤。

4.根據權利要求1所述的多層級回歸目標跟蹤方法，其特征在于，所述第一IoU預測單元的IoU閾值U₁為0.5，第二IoU預測單元的IoU閾值U₂為0.7。