[發明專利]基于孿生網絡判別特征學習的視覺跟蹤方法

在審

• 申請號: 202010127710.6
• 申請日: 2020-02-28
• 公開（公告）號: CN111462173A
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 盧湖川;倪萌;孫沖;單泳齊
• 申請（專利權）人: 大連理工大學人工智能大連研究院
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 天津展譽專利代理有限公司 12221
• 代理人: 劉紅春

本發明涉及一種基于孿生網絡判別特征學習的視覺跟蹤方法，包括如下步驟：離線定位分類器訓練；離線驗證分類器訓練；在線目標跟蹤；在線模板更新。本發明兼具孿生網絡結構簡單、速度快以及相關濾波判別性強的優點，取長補短將二者的優勢融于一體而去除了它們的劣勢，同時加入二值化掩膜以削弱邊界效應對相關濾波的影響，與此同時，本發明還結合了離線訓練以及在線更新，使得該發明既能得到大量訓練數據的支持，又能根據所跟蹤目標的不同種類及不同狀態進行調整，從而提高跟蹤的準確性以及魯棒性，使其可達到極好的跟蹤效果，有助于與其它領域融合，具有廣闊的應用前景。

技術領域

本發明涉及視覺跟蹤技術領域，尤其涉及一種基于孿生網絡判別特征學習的視覺跟蹤方法。

背景技術

目標跟蹤是計算機視覺中具有廣泛應用的一個分支，隨著視頻采集設備的普及和成像質量的提高，視覺跟蹤技術被廣泛應用于智能交通系統、目標識別、視頻檢索和人機交互等領域。

針對視覺跟蹤問題的研究，國內外的學者做出了大量的貢獻。現有的主流視覺跟蹤算法大多基于相關濾波及孿生神經網絡。相關濾波利用信號與系統中相關運算的性質，將循環矩陣引入到嶺回歸最優化問題中，進而避免了原問題中復雜的矩陣運算，該算法可以在線快速迭代，是一種很常見的目標外觀建模方法。孿生神經網絡是一種廣泛用于視覺跟蹤的神經網絡結構，由模板參考支路及目標定位支路兩部分組成，該網絡通過大量數據進行離線學習，使得學習到的特征可以很好地保留視頻中的幀間連續性信息。由于孿生神經網絡可以在大量的離線視頻上進行預訓練，因而具有更好的可擴展性。傳統的基于孿生網絡的視覺跟蹤算法直接將模板支路與定位支路得到的特征圖進行相關操作，并利用余弦相似度來判斷目標模板與候選樣本的相似性，由于模板的生成只考慮了正樣本信息而沒有充分考慮背景信息，導致其判別能力較弱，不能很好地區分候選樣本中與模板外觀相似的正樣本及負樣本。針對孿生網絡的這一缺陷，2017年Jack Valmadre等人將相關濾波引入到孿生網絡中，該技術在給定模板支路特征圖后，首先基于該特征圖學習一個判別分類器，然后利用該分類器與定位支路特征圖進行相關運算以確定目標的位置，這種方法雖然在一定程度上增加了跟蹤算法的判別能力，但是相關濾波算法固有的邊界效應問題又制約了其性能。

綜上所述，現有跟蹤技術有以下幾個方面的缺陷：第一，現有基于孿生網絡的視覺跟蹤算法在構造跟蹤模板時只考慮了前景目標信息，判別能力通常較弱，不能很好地在復雜場景下進行目標跟蹤；第二，現有孿生網絡大多不能進行在線更新，在跟蹤過程中跟蹤算法不能有效適應目標的外觀形變，導致跟蹤失敗；第三，針對孿生網絡的改進算法雖然在一定程度上提升了模型的判別能力，但是相關濾波算法的引入又帶來了邊界效應，限制了模型性能的進一步提升。

發明內容

本發明所要解決的技術問題是克服現有技術中存在的不足，提供一種基于孿生網絡判別特征學習的視覺跟蹤方法。

本發明是通過以下技術方案予以實現：

一種基于孿生網絡判別特征學習的視覺跟蹤方法，其特征在于，包括如下步驟：a.離線定位分類器訓練：提取樣本圖像，定義模板幀和定位幀；以模板幀和定位幀真值目標框的中心點為中心裁剪出對應的圖像目標塊；將模板幀和定位幀的圖像目標塊送入到兩個由全卷積網絡構成的特征提取網絡，得到模板幀和定位幀的圖像目標塊對應的卷積特征；優化模型參數；b.離線驗證分類器訓練：提取樣本圖像，定義模板幀和驗證幀；提取模板幀和驗證幀的圖像塊，作為模板支路和驗證支路的輸入；將模板支路及驗證支路的輸入圖像送入兩個由全卷積網絡構成的特征提取網絡，得到模板支路和驗證支路的卷積特征；優化模型參數；c.在線目標跟蹤：在初始幀，根據模板幀圖像目標塊對應的卷積特征，得到判別分類器系數；在跟蹤過程中，根據定位幀圖像目標塊，提取出當前幀的定位支路特征，計算出對應的響應圖；將大于閾值的響應部分的對應候選樣本送入驗證分類器進行驗證；d.在線更新：在第t幀，根據當前幀目標位置計算更新分類器系數。

根據上述技術方案，優選地，步驟a中所述提取樣本圖像時，隨機地從給定的視頻序列中抽取幀間隔小于50幀的兩幀圖像，定義為模板幀和定位幀。