[發明專利]一種融合孿生網絡與相關濾波的目標跟蹤方法

在審

• 申請號: 202110982258.6
• 申請日: 2021-08-25
• 公開（公告）號: CN113793359A
• 公開（公告）日: 2021-12-14
• 發明（設計）人: 胡秀華;陳媛;劉煥;惠燕;梁穎宇;吳璽
• 申請（專利權）人: 西安工業大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06K9/62;G06N3/04
• 代理公司: 西安賽嘉知識產權代理事務所(普通合伙) 61275
• 代理人: 王偉超

本發明提供了一種融合孿生網絡與相關濾波的目標跟蹤方法包括如下：步驟一、利用ResNet50網絡提取圖像特征；步驟二、通過注意力機制，將不同網絡層次的特征進行融合，得到融合邊緣與語義特性的判別性特征；步驟三、將自適應尺度與學習速率調整的背景感知相關濾波模型引入網絡結構，設計更新策略，實現對目標模板信息進行有效更新；該方法能夠通過利用注意力機制方法優化目標表觀特征信息的描述，利用自適應尺度與學習速率調整的背景感知相關濾波模型設計模型更新策略，并通過相似性判定準則與置信圖得到目標最佳位置，最終有效適應遮擋、尺度變化、快速運動、旋轉形變及運動模糊等多種復雜因素的影響，實現準確的目標運動狀態估計。

技術領域

本發明屬于目標跟蹤技術領域，具體涉及一種融合孿生網絡與相關濾波的目標跟蹤方法。

背景技術

隨著深度學習技術的發展，諸多研究學者將深度學習技術應用于目標跟蹤框架中，并且取得了較為優異的跟蹤結果。現階段基于深度學習理論的目標跟蹤方法成為目標跟蹤技術研究方案的主流，一般由于神經網絡的卷積特征能夠更為魯棒性的描述目標外觀信息變化，目標模型在應用中更具有廣泛性。

有文獻利用全卷積孿生神經網絡結構學習目標相關特征，通過計算搜索區域與模板區域之間的相似性，得到目標區域的響應圖，但是網絡實現過程未考慮到跟蹤過程中模板更新策略，面對復雜環境的影響，跟蹤模型易產生漂移。有文獻將深度神經網絡與相關濾波相結合，提出端到端的目標跟蹤框架，在相關濾波模型機制中利用深度特征對目標信息進行有效描述，從而提高了模型性能且模型實時性也存在保障。有文獻通過融合淺層特征與深層特征構建目標外觀模型，復雜環境下能夠有效的區分被跟蹤目標信息與背景信息。網絡訓練過程中引入光流信息，可以在一定程度上提高特征表達能力，同時加入了時空注意力機制充分利用目標的前景信息，從而達到精確定位。有文獻將循環神經網絡產生的深度特征作用于卷積神經網絡構建的目標外觀模型中，從而提高了外觀模型的表達能力。有文獻利用循環神經網絡構建序列關聯模型，完成信息之間的轉換，將有遮擋的環境信息轉換為無遮擋的環境信息，從而降低了跟蹤過程中遮擋因素的影響。有文獻基于目標檢測思想將目標跟蹤任務劃分為兩個階段，即目標分類和目標評價，該方法實現過程中利用深度回歸網絡構建目標分類模塊，以達到粗略的獲取目標位置的目的，其中，目標估計網絡中引入交并比最大化概念，從而使得矩形框與目標真實位置更加吻合。

為了更好地解決目標在具有遮擋、光照變化、形變、運動模糊等多種復雜環境下容易出現跟蹤漂移的問題，本發明設計提出一種融合孿生網絡與相關濾波的目標跟蹤方法。首先，引入數據增強算法，通過旋轉、光照變化等處理手段增強模型訓練數據集，然后，引入相關濾波模型，將其視為網絡模型中的一層，從而設計模型更新更新策略，最后，通過相似性判定準則得到和目標模板最相似的候選樣本，通過響應圖的置信度選擇目標當前位置，實現目標的準確的跟蹤。

發明內容

為了更好地解決目標在具有遮擋、光照變化、形變、運動模糊等多種復雜環境下容易出現跟蹤漂移的問題，本發明設計提出一種融合孿生網絡與相關濾波的目標跟蹤方法。

首先，引入數據增強算法，通過旋轉、光照變化等處理手段增強模型訓練數據集，然后，引入相關濾波模型，將其視為網絡模型中的一層，從而設計模型更新更新策略，最后，通過相似性判定準則得到和目標模板最相似的候選樣本，通過響應圖的置信度選擇目標當前位置，實現目標的準確的跟蹤。

如圖1所示，一種融合孿生網絡與相關濾波的目標跟蹤方法，包括如下步驟：

步驟一、利用ResNet50網絡提取圖像特征；

步驟二、通過注意力機制，將不同網絡層次的特征進行融合，得到融合邊緣與語義特性的判別性特征；

步驟三、將自適應尺度與學習速率調整的背景感知相關濾波模型引入網絡結構，設計更新策略，實現對目標模板信息進行有效更新。

進一步的，所述步驟一、利用ResNet50網絡提取圖像特征的具體過程是: