[發明專利]一種高性能視覺跟蹤方法及裝置

有效

• 申請號: 201810857145.1
• 申請日: 2018-07-31
• 公開（公告）號: CN109215057B
• 公開（公告）日: 2021-08-20
• 發明（設計）人: 葛仕明
• 申請（專利權）人: 中國科學院信息工程研究所
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/262
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 余長江

1.一種高性能視覺跟蹤方法，其步驟包括：

根據視頻的前一幀的物體位置提取該幀的圖像塊，提取該圖像塊的原始多通道特征；

根據視頻的前一幀的物體位置提取當前幀的圖像塊，提取該圖像塊的原始多通道特征；

將上述兩幀的原始多通道特征經過通道蒸餾模塊，得到壓縮后的多通道特征；該通道蒸餾模塊用于從原始的多通道特征中選擇出最富信息的通道，組成壓縮后的多通道特征；

對壓縮后的多通道特征進行傅里葉變換，并與跟蹤模型進行點乘操作，再進行傅里葉逆變換，得到響應圖；

尋找響應圖上的最大響應位置，得到物體偏離向量，并將物體偏離向量與當前幀所對應的前一幀的物體位置相加，得到當前幀的物體位置；

根據當前幀的物體位置，計算壓縮后的多通道特征，更新跟蹤模型。

2.如權利要求1所述的方法，其特征在于，若前一幀為第一幀，則該第一幀的物體位置已知。

3.如權利要求1所述的方法，其特征在于，根據視頻的至少前兩幀的原始多通道特征，得到壓縮后的多通道特征，通過最小化能量函數，得到通道蒸餾模塊和跟蹤模型。

4.如權利要求3所述的方法，其特征在于，通過壓縮后的多通道特征的相關響應圖與期望響應圖之間的差異來構造能量函數，該期望響應圖為一個中間響應值大而周圍響應值接近于0的高斯型的函數。

5.如權利要求3或4所述的方法，其特征在于，所述能量函數為：

其中α_l∈{0,1}；

其中，h是跟蹤模型，h^(l)是h的第l個通道模板，為相關濾波器；n表示訓練數據集中所含樣本的個數；d維的二值向量a＝(α₁,α₂,…,α_d)用于表示一個通道選擇，α_l＝1表示第l個特征通道被選擇，α_l＝0表示第l個特征通道不被選擇；‖a‖表示選擇的通道數目；常數λ用于平衡兩部分能量損失；是離散傅立葉變換操作，⊙是按位點乘操作，*是共軛操作。

6.如權利要求5所述的方法，其特征在于，通過交替優化算法進行優化，得到最小化能量函數。

7.如權利要求1所述的方法，其特征在于，通過特征提取模塊提取原始多通道特征，該特征提取模塊為預設定好的多通道特征提取模型、或預訓練好的深度學習模型、或二者的組合。

8.如權利要求7所述的方法，其特征在于，預設定好的多通道特征提取模型可提取HOG特征或顏色屬性特征。

9.如權利要求1所述的方法，其特征在于，將壓縮后的多通道特征采用傅里葉變換轉化成頻域，與跟蹤模型進行加權累加，以更新跟蹤模型。

10.一種高性能視覺跟蹤裝置，包括：

特征提取模塊，采用預設定好的特征提取器或預訓練好的深度學習模型或者兩者的組合，提取得到原始多通道特征；

通道蒸餾模塊，用于從原始多通道特征中選擇最富信息通道的特征，得到壓縮后的多通道特征；

特征比對模塊，用于將壓縮后的多通道特征與跟蹤模型進行相關操作，得到相關響應圖；

響應預測模塊，用于根據相關響應圖尋找最大響應位置，獲得物體偏移向量，從而計算出當前物體位置；

模型更新模塊，用于根據當前物體位置的信息更新跟蹤模型；

跟蹤模型，為多通道模板，用于與物體多通道特征進行特征比對。