[發明專利]一種基于殘余注意力的目標跟蹤方法

在審

• 申請號: 202010448979.4
• 申請日: 2020-05-25
• 公開（公告）號: CN111724410A
• 公開（公告）日: 2020-09-29
• 發明（設計）人: 史再峰;孫誠;曹清潔;羅韜;王哲
• 申請（專利權）人: 天津大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06N3/04
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 韓帥

1.一種基于殘余注意力的目標跟蹤方法，包括如下步驟：

步驟1：構建基于殘余注意力的目標跟蹤網絡；

步驟2：訓練基于殘余注意力的目標跟蹤網絡；

步驟3：實施目標跟蹤；

其中，所述殘余注意力的目標跟蹤網絡的構建包括：

建立殘余注意力計算模塊：每個所述的殘余注意力計算模塊用于增強部分目標特征或抑制部分背景物體特征，其計算過程輸入圖像特征矩陣，經過三個3×3卷積層和三個3×3反卷積層，將得到一個與輸入圖像特征矩陣大小相同的權重矩陣；將該權重矩陣與輸入圖像特征矩陣相乘，再與輸入圖像特征矩陣相加，得到部分目標特征被增強、部分背景物體特征被抑制的圖像特征矩陣；

構建由特征提取網絡、殘余注意力網絡和二分類網絡組成的殘余注意力目標跟蹤網絡。

2.根據權利要求1所述的一種基于殘余注意力的目標跟蹤方法，其特征在于:所述步驟2中訓練基于殘余注意力的目標跟蹤網絡包括如下步驟：

S1.構建數據集，將數據集劃分為訓練集和測試集；

S2.初始化目標跟蹤網絡：不引入殘余注意力網絡，直接將特征提取網絡與二分類網絡相連組成目標跟蹤網絡，利用訓練集和焦點損失函數訓練網絡，訓練至f次迭代以上且焦點損失函數值在y次迭代內數值最大值與最小值相差小于h；

S3.訓練殘余注意力網絡:在上一步得到的網絡中引入殘余注意力網絡，將特征提取網絡和二分類網絡中的所有參數固定，利用訓練集和焦點損失函數訓練殘余注意力網絡，訓練至f次迭代以上且焦點損失函數值在y次迭代內最大值與最小值相差小于h；

S4.重復第1步到第3步，訓練多個基于殘余注意力的目標跟蹤網絡，用測試集比較網絡輸出的坐標與真實坐標間的平均歐式距離，選擇平均歐式距離最低的網絡實施目標跟蹤。

3.根據權利要求1所述的一種基于殘余注意力的目標跟蹤方法，其特征在于:所述步驟3中實施目標跟蹤包括如下步驟:

S1.將第一幀的跟蹤圖像和目標位置標簽輸入跟蹤網絡，利用焦點損失函數訓練二分類網絡中的全連接層；

S2.輸入后續圖像，跟蹤網絡將輸出目標的坐標，以此對目標物體進行準確、魯棒的跟蹤定位。

4.根據權利要求1所述的一種基于殘余注意力的目標跟蹤方法，其特征在于:

所述特征提取網絡用于提取輸入圖像的深度特征是直接完善的網絡的卷積層部分作為特征提取網絡，然后將提取出的圖像特征矩陣輸入殘余注意力網絡；

所述殘余注意力網絡由多個殘余注意力計算模塊組成，用前一個殘余注意力計算模塊的輸出作為下一個殘余注意力計算模塊的輸入，殘余注意力網絡用于增強目標特征并抑制背景物體特征，殘余注意力網絡將權重更改后的圖像特征矩陣輸出至二分類網絡。

所述二分類網絡用于計算出目標坐標：該網絡首先根據前一幀的跟蹤框坐標，在以該框為中心的一定范圍內生成大量的樣本框，然后根據每個樣本框中的圖像特征矩陣，計算出每個框的分類概率，將分類概率最高的樣本框作為目標的位置并輸出坐標。

5.根據權利要求1-4任一項所述的一種基于殘余注意力的目標跟蹤方法，其特征在于:

所述殘余注意力的目標跟蹤網絡使用焦點損失函數損失來訓練提高二分類網絡的分類準確度，所述焦點損失函數被定義為：

FL(p_t)＝-α_t(1-p_t)^γlog(p_t)

其中，p_t是對跟蹤目標的分類概率，γ是個大于0的值，α_t是個[0,1]區間內的小數，γ和α_t都是固定值。γ和α_t的最優值是相互影響的，所以在評估準確度時需要把兩者組合起來調節。在訓練的過程中將γ設置為2，將α_t設置為0.25。