[發明專利]一種視覺目標跟蹤方法及裝置

有效

• 申請號: 202011379922.X
• 申請日: 2020-11-30
• 公開（公告）號: CN112489081B
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 魏振忠;談可;許庭兵
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06V10/25;G06V10/82;G06N3/04
• 代理公司: 北京匯澤知識產權代理有限公司 11228
• 代理人: 牟昌兵

1.一種視覺目標跟蹤方法，其特征在于，包括：

獲取第一幀中的標定目標區域；

以所述標定目標區域為中心剪裁所述第一幀，得到參考圖像；

使用網絡模型，確定所述參考圖像的特征圖，其中，所述網絡模型包括：特征提取子網絡、匹配激活子網絡，以及互補區域候選子網絡，其中，所述互補區域候選子網絡包含兩個分類分支和一個回歸分支，一個分類分支以參考圖像的特征圖和經過匹配激活圖擦除后的搜索圖像的特征圖作為輸入，另一個分類分支以參考圖像的特征圖和搜索圖像的特征圖作為輸入；

對于所述第一幀之后的每幀，以上一幀的目標區域為中心，剪裁得到當前幀的搜索圖像；

使用所述網絡模型，根據所述當前幀的搜索圖像和所述參考圖像的特征圖，確定當前幀中目標對應每個錨框的得分和相應的回歸框，其中，每個錨框的得分包括：所述匹配激活子網絡輸出的當前幀的搜索圖像中錨框對應位置的相似度、所述互補區域候選子網絡的兩個分類分支輸出的錨框對應的兩個目標類別，其中，每個位置包括多個錨框；

使用時空約束，對每個錨框的得分施加余弦窗得到得分最高的錨框，對得分最高的錨框的回歸框進行尺度懲罰，得到最終的跟蹤框；

所述使用時空約束，對每個錨框的得分施加余弦窗得到得分最高的錨框，對得分最高的錨框的回歸框進行尺度懲罰，得到最終的跟蹤框，包括：

按照以下方式確定每個錨框的得分：s＝(1-λ₁)avg(c₁,c₂)+λ₁w+λ₂R_sim，其中，為錨框對應位置的相似度，λ₁和λ₂為權重系數，w為余弦窗，c₁和c₂分別為所述兩個分類分支輸出的錨框對應的目標類別，avg(·)為求平均運算；

按照以下方式最終的目標尺度：(w,h)＝λ(w_t,h_t)+(1-λ)(w_t-1,h_t-1)，其中，(w_t,h_t)為得分最高的錨框的回歸框的目標尺度，(w_t-1,h_t-1)為上一幀的目標尺度，λ為權重系數；

所述匹配激活圖擦除為設置所述匹配激活圖的閾值，對超過閾值的相應特征從所述搜索圖像中擦除。

2.根據權利要求1所述的視覺目標跟蹤方法，其特征在于，還包括：訓練所述網絡模型，其中訓練所述網絡模型包括：

建立訓練數據集，其中，所述訓練數據集中每個樣本包括：同一個標注好的視頻內間隔不超過t的兩幀圖像I₀和I_t，I₀為參考圖像，I_t為搜索圖像；以及，樣本標簽；

使用所述訓練數據集訓練所述網絡模型。

3.根據權利要求2所述的視覺目標跟蹤方法，其特征在于，

對于所述匹配激活子網絡，輸出響應圖為的每個元素代表每個位置與目標的相似度，其標簽滿足：

其中，r為半徑；

對于所述互補區域候選子網絡，對搜索圖像的每個位置設置k個不同長寬比的錨框，對于所述兩個分類分支，每個分類分支的輸出為并判斷每個錨框屬于目標或背景類別的概率，其標簽滿足：

其中，1代表正樣本，0代表負樣本，-1代表忽略，IoU代表當前錨框和目標框的交并比，threshold_high和threshold_low分別代表高閾值和低閾值。

4.根據權利要求2所述的視覺目標跟蹤方法，其特征在于，訓練所述網絡模型的損失函數為多任務的損失函數，包括：所述匹配激活子網絡的相似度損失，以及互補區域候選子網絡的分類損失和回歸損失，其中，總的損失為所述相似度損失、所述分類損失和所述回歸損失的加權求和。

5.根據權利要求4所述的視覺目標跟蹤方法，其特征在于，所述相似度損失使用二值sigmod交叉熵損失，所述分類損失使用二分類softmax交叉熵損失，所述回歸損失使用平滑L1損失。