[發明專利]融合目標顯著性和在線學習干擾因子的航拍目標跟蹤方法

在審

• 申請號: 202110095474.9
• 申請日: 2021-01-25
• 公開（公告）號: CN112836606A
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 孫銳;方林鳳;梁啟麗;張旭東
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

本發明公開了一種融合目標顯著性和在線學習干擾因子的航拍目標跟蹤方法，是根據反向傳播梯度從預先訓練的卷積網絡選擇最有效的特征通道來生成航拍智能感知特征，在凸顯航拍目標特性的同時，大大減少了通道特征量來加快跟蹤速度；并充分利用連續視頻豐富的上下文信息，引導目標外觀模型與當前幀盡可能相似地來在線學習動態目標的干擾因子，從而可以抑制航拍顯著性變化所帶來的影響，進而實現可靠的自適應匹配跟蹤。本發明能縮小預訓練的分類深度模型與特定航拍場景的目標跟蹤之間的差距，并提高模型的在線適應能力，從而滿足航拍視頻的實時跟蹤需求。

技術領域

本發明屬于計算機視覺技術領域，具體涉及一種基于孿生網絡的融合顯著性和干擾在線學習的航拍目標跟蹤方法。

背景技術

隨著無人機和計算機視覺的快速發展，基于無人機的智能目標跟蹤系統在目標監控、軍事反恐偵察等各個領域均有廣泛應用。航拍視頻具有信息量大，背景復雜，視場不確定，跟蹤目標小等特點，而現有目標跟蹤算法沒有完全針對這些特點進行設計和優化，所以在航拍視頻中實現魯棒且實時的跟蹤仍然是一個巨大的挑戰。

現有主流的目標跟蹤算法都是基于深度學習的，它們主要分為兩類：第一類使用用于目標識別任務預先訓練的深度模型來提取特征，將目標跟蹤問題轉化為分類問題。一般視覺識別任務和特定目標跟蹤在卷積神經網絡提取的特征的有效程度是不同的。第一，預先訓練的CNN特征對目標的語義信息和客觀信息是不可知的。第二，預先訓練的CNN偏向于增加類間目標的差異，提取的深層特征對不同類內目標并不敏感。第三，對于跟蹤任務，在較深的卷積網絡中僅有幾個卷積濾波器在描述目標時是有效的，大部分卷積濾波器包含的都是冗余和無關信息。當使用所有的卷積濾波器來提取特征時，會導致高的計算負載。第二種成熟策略是基于匹配的跟蹤策略，將候選樣本與目標模板匹配，不需要在線更新。這種跟蹤算法最顯著的優點是其實時性。通過學習一個通用的匹配函數，以保持實時響應能力。最近成功的模型有全卷積孿生網絡跟蹤算法，雖然它不僅實現了不錯的跟蹤精度還滿足了實時性，但是其缺乏一個有效的在線更新模型去捕捉航拍場景下目標、背景或成像條件的時間變化。對于單目標跟蹤任務來說，目標的外觀模型是重要的參考標準，其特征的辨別性尤其重要，豐富的目標姿勢變化以及不同程度的背景干擾等跟蹤難點都對提取具有辨別力的目標外觀模型提出了更高的要求，如何獲得更有辨別力的目標模板特征成為跟蹤成功的關鍵。

發明內容

本發明為克服上述現有技術中存在的問題，提出了一種融合目標顯著性和在線學習干擾因子的航拍目標跟蹤方法，以期能縮小預訓練的分類深度模型與特定航拍場景的目標跟蹤之間的差距，并提高模型的在線適應能力，從而滿足航拍視頻的實時跟蹤需求。

本發明為解決技術問題采用如下技術方案：

本發明一種融合目標顯著性和在線學習干擾因子的航拍目標跟蹤方法的特點是按如下步驟進行：

步驟1、對全卷積孿生網絡進行通用特征的預訓練；

步驟1.1、獲取帶有標簽的航拍數據集，所述航拍數據集包含多個視頻序列，每個視頻序列包含多幀，選取一個視頻序列并作為當前視頻序列中抽取任意第i幀圖像與相鄰T幀圖像之內的任意一幀圖像組成一個樣本對，從而將所述當前視頻序列中隨機抽取的圖像組成若干個樣本對，進而構成訓練數據集；

步驟1.2、將所述訓練數據集的每個樣本對中的一幀圖像作為模板圖像，另一幀圖像作為搜索圖像；

步驟1.3、采用高斯分布隨機初始化全卷積孿生網絡的參數后，將每個樣本對輸入初始化后的全卷積孿生網絡中進行訓練，得到訓練好的最佳跟蹤模型；

步驟1.3.1、第i個樣本對經過全卷積孿生網絡后生成響應圖υ[u_i]，u_i表示響應圖υ[u_i]中的第i個位置，響應圖υ[u_i]中第i個位置對應的真實標簽記為y[u_i]；