[發(fā)明專利]一種基于殘余注意力的目標跟蹤方法

在審

• 申請?zhí)枺?/td>: 202010448979.4
• 申請日: 2020-05-25
• 公開（公告）號: CN111724410A
• 公開（公告）日: 2020-09-29
• 發(fā)明（設(shè)計）人: 史再峰;孫誠;曹清潔;羅韜;王哲
• 申請（專利權(quán)）人: 天津大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06N3/04
• 代理公司: 天津市北洋有限責任專利代理事務(wù)所 12201
• 代理人: 韓帥

本發(fā)明公開了一種基于殘余注意力的目標跟蹤方法，步驟1：構(gòu)建基于殘余注意力的目標跟蹤網(wǎng)絡(luò)；步驟2：訓練基于殘余注意力的目標跟蹤網(wǎng)絡(luò)；步驟3：實施目標跟蹤；其中，所述殘余注意力的目標跟蹤網(wǎng)絡(luò)的構(gòu)建由特征提取網(wǎng)絡(luò)、殘余注意力網(wǎng)絡(luò)和二分類網(wǎng)絡(luò)組成；本發(fā)明針對目標跟蹤算法跟蹤過程中背景物體響應(yīng)度過高，背景物體和目標有時易混淆等問題，使用殘余注意力機制增強目標特征的權(quán)重并抑制背景物體特征的權(quán)重，進而提高跟蹤器的跟蹤準確度，具有跟蹤精度高、魯棒性強等優(yōu)點。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機視覺的圖像處理領(lǐng)域，尤其涉及一種基于殘余注意力的目標跟蹤方法。

背景技術(shù)

現(xiàn)代目標跟蹤(Object Tracking)算法分為兩類。一類基于相關(guān)濾波(CorrelationFilter)，該跟蹤算法利用循環(huán)相關(guān)的屬性并在傅立葉域中執(zhí)行運算來訓練回歸器，它可以進行在線跟蹤并同時有效地更新過濾器的權(quán)重。另一類基于強大的深度學習網(wǎng)絡(luò)(Deep Learning Network)，其中二階段的檢測跟蹤框架成為主流：第一階段繪制目標對象周圍的稀疏樣本集，第二階段使用卷積神經(jīng)網(wǎng)絡(luò)將每個樣本分類為目標對象或背景。

2018年，有研究者在基于深度學習的圖像處理領(lǐng)域中引入注意力機制(AttentionMechanism)。在圖像處理領(lǐng)域，注意力機制的工作方法是改變圖像某些特征的權(quán)重，從而使感興趣的特征得到更多關(guān)注，不感興趣的特征得到更少關(guān)注。其中最常用的是空間注意力(Spatial Attention)機制和通道注意力(Channel Attention)機制。

首先被引入的是空間注意力機制：有學者在孿生網(wǎng)絡(luò)中引入了空間注意力機制，提出了DA-Siam網(wǎng)絡(luò)。利用神經(jīng)網(wǎng)絡(luò)的學習能力，得到一個與輸入圖像特征矩陣相同尺寸的權(quán)重矩陣，該矩陣能夠自動學習哪些特征是重要的，哪些特征是不重要的。該權(quán)重矩陣被用來與輸入圖像特征矩陣相乘，以提高目標特征的數(shù)值并降低背景特征的數(shù)值。

然后被引入的是通道注意力機制：有學者在孿生網(wǎng)絡(luò)中加入通道注意力模塊，提出了SA-Siam網(wǎng)絡(luò)。利用神經(jīng)網(wǎng)絡(luò)的學習能力，得到一個與輸入通道數(shù)量相同的權(quán)重數(shù)列，該數(shù)列能夠?qū)W習不同圖像通道的重要性，并以權(quán)重的形式表現(xiàn)出來。該權(quán)重數(shù)列被用來與每個輸入通道相乘，以提高一些重要通道對最終跟蹤結(jié)果的影響。

還有一些混合注意力機制被引入，這類注意力機制主要是對上述兩種注意力機制的混合。

在基于檢測跟蹤框架的目標跟蹤網(wǎng)絡(luò)中，一個關(guān)鍵步驟是在上一幀目標框的周圍生成大量的提議框，而雜亂的背景會使很多區(qū)域的響應(yīng)度太高，影響提議框的選擇，降低跟蹤網(wǎng)絡(luò)的速度和精度。以上這些注意力機制只能提高被跟蹤目標的權(quán)重，而不能做到抑制大多數(shù)的背景物體。因為在目標跟蹤網(wǎng)絡(luò)中多次使用相同的注意力機制會導致梯度消失，反而會使跟蹤效果變差。而只在網(wǎng)絡(luò)中使用一次注意力機制無法抑制所有的背景物體。因此需要一種能夠疊加使用而不會降低跟蹤效果的注意力機制，來抑制大部分背景物體的權(quán)重，提高被跟蹤目標的權(quán)重，從而提高目標跟蹤的效果。

發(fā)明內(nèi)容

本發(fā)明的目的在于提出一種基于殘余注意力的目標跟蹤方法，適合在背景物體特征雜亂的視頻中進行穩(wěn)定的跟蹤。針對目標跟蹤算法跟蹤過程中背景物體響應(yīng)度過高，背景物體和目標有時易混淆等問題，使用殘余注意力機制增強目標特征的權(quán)重并抑制背景物體特征的權(quán)重，進而提高跟蹤器的跟蹤準確度，具有跟蹤精度高、魯棒性強等優(yōu)點。

有益效果

利用本發(fā)明提出的一種基于殘余注意力的目標跟蹤方法，引入殘余注意力機制，增強目標特征的權(quán)重并抑制背景物體特征的權(quán)重，適合在背景物體特征雜亂或與被跟蹤目標相似的視頻中進行穩(wěn)定的跟蹤。該方法可以有效提高跟蹤器的準確度和魯棒性。

附圖說明

圖1殘余注意力計算模塊計算過程圖

具體實施方式