[發明專利]一種基于孿生網絡的目標特定響應注意力目標跟蹤方法

有效

• 申請號: 202010081733.8
• 申請日: 2020-02-06
• 公開（公告）號: CN111291679B
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 王菡子;趙鵬輝;陳昊升;梁艷杰;嚴嚴
• 申請（專利權）人: 廈門大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/774;G06V10/82;G06N3/04
• 代理公司: 廈門南強之路專利事務所(普通合伙) 35200
• 代理人: 馬應森

一種基于孿生網絡的目標特定響應注意力目標跟蹤方法，涉及計算機視覺技術。針對原有的基于孿生網絡的目標跟蹤方法對目標快速運動、遮擋、旋轉、背景雜亂等復雜跟蹤場景不夠魯棒的缺點，提出一種基于孿生網絡的目標特定響應注意力目標跟蹤方法，提出的目標響應注意力模塊有效弱化跟蹤過程中噪聲信息對于跟蹤性能的影響，同時強化對目標對象外觀變化具有判別性的特征信息，使得孿生網絡產生的比較好的目標響應圖，使用該目標響應圖進行目標位置預測，從而實現更魯棒的跟蹤性能。包含五個主要部分：CNN特征提取；逐通道互相關生成響應圖；利用注意力網絡產生權重，對各通道響應圖加權；最終響應圖上確定目標位置，以及所提出模型的訓練方法。

技術領域

本發明涉及計算機視覺技術，尤其是涉及一種基于孿生網絡的目標特定響應注意力目標跟蹤方法。

背景技術

目標跟蹤作為計算機視覺中的一項基本任務，在視頻監控、車輛導航和增強現實等領域有著廣泛的應用。目標跟蹤是選定一個在給定視頻序列第一幀中選定感興趣的物體，通過計算機視覺算法預測后續幀中目標的位置。近年來，基于孿生的跟蹤方法因其保證跟蹤精度的同時又能保證實時的速度而備受研究者們的關注，但相關算法的性能易受到：目標或相機的快速運動、目標表觀變化、背景雜亂等一些在現實中不可避免的情況的影響。

在深度學習中，注意力機制可以使模型根據特定的任務有選擇地獲取輸入的一些重要部分。由于能夠在不過度消耗計算和存儲的情況下提高模型的性能。注意力機制已廣泛應用于圖像標題、機器翻譯、語音識別等領域。對于目標跟蹤，davt引入識別空間注意，識別目標上的某些特定區域。acfn試圖利用關注機制來選擇用于跟蹤的一組相關濾波器的集合。csr-dcf利用前景空間可靠性圖來約束相關濾波器學習。RTT利用產生顯著性的多向遞歸神經網絡去選擇屬于目標對象的可信賴的區域。這些開創性的算法驗證了注意力機制在目標跟蹤方面的優越性，同時也更有效的對利用注意力機制提升目標跟蹤方法性能提出了展望。

發明內容

本發明的目的在于提供能夠有效應對目標快速運動、遮擋、旋轉、背景雜亂等復雜跟蹤場景的一種基于孿生網絡的目標特定響應注意力目標跟蹤方法。

本發明包括以下步驟：

1)給定一段視頻序列，其中第一幀包含已標記的目標，定義目標模板區域Z以及目標搜索區域X，目標模板區域Z在第一幀中基于給定標記截取后保持不變，目標搜索區域X是在當前要測試的視頻幀中獲取，利用上一幀得到的目標位置截取比目標模板區域Z更大的圖像塊；

2)將步驟1)所述目標模板區域和目標搜索區域輸入到全卷積孿生網絡，得到目標模板區域Z的CNN特征F_z和目標搜索區域X的CNN特征F_x；

3)將步驟2)所得CNN特征F_x和F_z輸入到目標特定響應的注意力模型，得到由注意力機制加權的多通道的響應圖S_multi，對響應圖S_multi進行逐通道的求和得到最終的響應圖S，將響應圖S中響應值最大的位置確定為目標初始位置；

4)以步驟1)中上一幀得到的目標位置為中心，對目標搜索區域構建搜索尺度金字塔，對尺度金子塔中每個估計尺度的搜索區域都執行步驟3)，選用響應值最高的目標搜索區域的尺度作為當前幀對應的尺度，將目標位置和尺度結合即得到目標的實際大小和位置，從而實現目標跟蹤；

5)訓練模型：模型的訓練獨立于跟蹤過程，采用離線訓練好模型后，將訓練好的模型用于上述的跟蹤步驟。

在步驟1)中，目標搜索區域X是在當前要測試的視頻幀中獲取的具體步驟如下：

(1)在初始幀根據真實的有效值截取出來的目標模板區域的大小比實際目標稍大些，用來捕捉一些語義信息，模板截取的實際大小按以下公式計算：