[發明專利]一種基于孿生網絡進行特征融合的目標跟蹤方法

有效

• 申請號: 201810606690.3
• 申請日: 2018-06-13
• 公開（公告）號: CN108846358B
• 公開（公告）日: 2021-10-26
• 發明（設計）人: 郭東巖;趙瑋瑄;崔瀅;王振華;陳勝勇
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/08;G06N3/04
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

一種基于孿生網絡進行特征融合的目標跟蹤方法，包括孿生網絡模型的訓練過程和模型在目標跟蹤場景中的應用；孿生網絡模型的訓練過程如下：步驟1.1：模型訓練數據集的選取；步驟1.2：訓練數據集的預處理；步驟1.3：模型的訓練：輸入步驟1.2預處理的訓練集進行訓練；步驟1.4：模型獲取；模型在目標跟蹤場景中的應用過程如下：步驟2.1：數據輸入；步驟2.2：模板更新；步驟2.3：目標位置評估；步驟2.4：利用算法得到的評估位置，提取后續的圖像對，將提取到的圖像對作為模型的輸入，輸入到模型中，重復上述的步驟2.1?2.4的過程，直到圖像序列中所有圖像都處理完為止。本發明提升魯棒性，提升跟蹤效果。

技術領域

本專利涉及機器學習、圖像處理領域，更具體的說，涉及目標跟蹤、卷積神經網絡、特征融合領域。

背景技術

復雜背景下的目標跟蹤技術是計算機視覺領域的核心研究課題之一，其涉及特征提取、目標識別、機器學習等多方面技術。先驗知識不足是目標跟蹤技術面臨的最大挑戰。在進行目標跟蹤任務時，僅提供目標在視頻第一幀中的位置信息，同時在目標跟蹤過程中，會遇到目標被遮擋、光照變化、目標形變、旋轉、運動模糊等一系列問題，這都極大增加了目標跟蹤的難度。

從1955年目標跟蹤概念被提出至今，目標跟蹤方法層出不窮，但是很多方法在復雜背景下的目標跟蹤效果仍然不夠理想。傳統方法一般是利用手工設計的特征進行目標建模從而完成目標跟蹤的任務，不同特征從不同角度對目標進行描述，同時不同特征又各有其優缺點，例如顏色特征對目標形變具有較高的魯棒性，而對顏色、光照變化較為敏感；Hog特征對顏色、光照變化不敏感，卻對目標形變較為敏感。近年來，隨著硬件計算性能的提升，深度學習方法得到廣泛應用，一些研究者開始嘗試結合深度神經網絡設計目標跟蹤算法，如 Bertinetto等人基于全卷積網絡提出的端到端的方法SiameseFC以及Held等人基于深度回歸網絡提出的GOTURN跟蹤器等。這些方法利用CNN特征對目標進行建模，但該特征受訓練樣本約束較大，若訓練樣本不夠充分，將會影響對目標的建模效果，最終導致跟蹤過程中目標丟失。

為了將目標跟蹤應用于復雜場景中，我們需要設計出一種魯棒性更好準確率更高的目標跟蹤方法。

發明內容

為了提升目標跟蹤方法的魯棒性，本發明提供一種基于孿生網絡進行特征融合的目標跟蹤方法，基于深度學習的特征融合策略，該方法通過對訓練樣本進行特征提取，并訓練相關權重系數將不同的特征建模得到的表觀模型進行融合，使得多個特征結合更為緊密，最終達到提升跟蹤效果的目的。

本發明解決其技術問題所采用的技術方案是：

一種基于孿生網絡進行特征融合的目標跟蹤方法，包括孿生網絡模型的訓練過程和模型在目標跟蹤場景中的應用；

所述孿生網絡模型的訓練過程如下：

步驟1.1：模型訓練數據集的選取：根據目標跟蹤的應用需求，我們選取包含目標的完整視頻序列作為訓練集；

步驟1.2：訓練數據集的預處理：因為在目標跟蹤過程中，輸入模型的是一張只包含目標的圖像塊和一張包含目標以及目標周圍背景的圖像塊，所以在模型訓練前，需要對訓練集進行預處理，生成符合網絡輸入要求的訓練集；

步驟1.3：模型的訓練：輸入步驟1.2預處理的訓練集進行訓練，步驟如下：，

步驟1.3.1：為了提升訓練模型的魯棒性，采用隨機讀取的方式，每次讀取多對圖像塊輸入網絡進行訓練；

步驟1.3.2：利用孿生網絡結構對一組圖像塊(x′,z′)分別提取CNN和HOG 特征，將這些特征記為x′_HOG,x′_CNN,z′_HOG,z′_CNN；