[發明專利]一種基于內部裁剪和多層特征信息融合的目標跟蹤方法

有效

• 申請號: 201910738616.1
• 申請日: 2019-08-12
• 公開（公告）號: CN110570458B
• 公開（公告）日: 2022-02-01
• 發明（設計）人: 梁超;張精制;阮威健;孫志宏;虞吟雪;林子琪
• 申請（專利權）人: 武漢大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 胡琦旖

本發明屬于計算機視覺技術領域，公開了一種基于內部裁剪和多層特征信息融合的目標跟蹤方法，包括：獲取視頻序列數據集，根據視頻序列數據集構成訓練集；構建孿生網絡，孿生網絡的基礎骨干采用經內部裁剪單元改進后的ResNet18特征提取網絡和RPN網絡的組合；基于訓練集，訓練孿生網絡，獲得訓練收斂的孿生網絡模型；利用孿生網絡模型進行在線跟蹤。本發明解決了現有技術中深度學習跟蹤方法的特征表達能力和模型泛化能力弱，跟蹤器無法有效地應對目標表觀的劇烈時空變化的問題。

技術領域

本發明涉及計算機視覺技術領域，尤其涉及一種基于內部裁剪和多層特征信息融合的目標跟蹤方法。

背景技術

目標跟蹤技術是提取視頻關鍵信息的重要技術手段，其旨在獲取感興趣目標在視頻序列中的位置，從而提取出目標的運動軌跡。該課題是計算機視覺領域的重要基礎課題，在此基礎上可以進行更深層次的分析，如異常行為識別，基于視頻序列的行人重識別等。

目前主流的目標跟蹤算法包括相關濾波類算法和深度學習算法。相關濾波類算法引入信號處理中信號相關性的概念，代表性算法有MOSSE、KCF、BACF等。其中，KCF算法的提出將相關濾波類算法在跟蹤領域的應用推向了高潮，但是相關濾波類算法都存在尺度自適應和邊界效應的問題。尺度自適應是指如果濾波模板的尺度不能與目標尺度統一的話，當目標尺度變小，濾波模板會引入過多的背景信息；當目標尺度變大，濾波模板會局限在目標的局部特征，最終都會導致跟蹤漂移現象。所謂的邊界效應是由于循環矩陣的樣本生成方式引入的，會造成許多不合理的訓練樣本，并且在測試階段無法應對運動過快的場景。深度學習算法相比于傳統算法，具備特征表達能力較強的優勢。但是由于在目標跟蹤任務中，待跟蹤目標是任意的，且只有第一幀的信息，而深度學習的優勢之一就是利用大量的標注信息學習到一個統計模型，訓練數據和先驗信息的缺失導致深度學習算法在跟蹤領域的應用起步較晚。深度學習算法大致分為深度學習網絡只做特征提取器，采用“線下訓練+線上微調”的策略進行，代表性算法有DLT、HCF等，以及基于孿生網絡的單目標跟蹤算法?；趯\生網絡的單目標跟蹤算法將跟蹤問題看作相似度計算問題，形式簡單，可以利用線下大規模視頻序列數據集，無需線上更新。

然而，現有的大多數基于孿生網絡的跟蹤器的特征提取模塊都采用類AlexNet的淺層神經網絡，特征表達能力較弱。但是通過實驗發現當采用更深的Inception或ResNet做特征提取模塊時，跟蹤準確率會迅速下降，分析其原因是由于深層網絡的填充操作，破壞了孿生網絡的特征平移不變性。因此，如何消除深層網絡填充操作帶來的不利影響，從而可以構造更深層次的特征提取網絡是值得探索的問題。

發明內容

本申請實施例通過提供一種基于內部裁剪和多層特征信息融合的目標跟蹤方法，解決了現有技術中深度學習跟蹤方法的特征表達能力和模型泛化能力弱，跟蹤器無法有效地應對目標表觀的劇烈時空變化的問題。

本申請實施例提供一種基于內部裁剪和多層特征信息融合的目標跟蹤方法，包括以下步驟：

步驟1、獲取視頻序列數據集，根據所述視頻序列數據集構成訓練集；

步驟2、構建孿生網絡，所述孿生網絡的基礎骨干采用經內部裁剪單元改進后的ResNet18特征提取網絡和RPN網絡的組合；

步驟3、基于所述訓練集，訓練所述孿生網絡，獲得訓練收斂的孿生網絡模型；

步驟4、利用所述孿生網絡模型進行在線跟蹤。

優選的，所述步驟1包括：

步驟1.1、根據視頻序列數據集的標注信息，獲得目標中心位置和尺寸信息；

步驟1.2、根據所述目標中心位置和尺寸信息，通過裁剪、縮放處理獲得所述視頻序列數據集中所有視頻序列圖像的模板圖像和搜索圖像，所述模板圖像和搜索圖像組成的成對圖像構成所述訓練集。

優選的，所述步驟1.2中包括：