[發明專利]一種結合殘差注意力和上下文信息的目標跟蹤算法

在審

• 申請號: 201811124724.1
• 申請日: 2018-09-26
• 公開（公告）號: CN109493364A
• 公開（公告）日: 2019-03-19
• 發明（設計）人: 李偉生;詹紫微
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06N3/04;G06N3/08
• 代理公司: 重慶市恒信知識產權代理有限公司 50102
• 代理人: 劉小紅;陳棟梁

本發明請求保護一種結合殘差注意力網絡和上下文信息的目標跟蹤算法，該算法首先將跟蹤的視頻序列中的第一幀傳到卷積層里面得到256張特征圖，然后將第一幀的特征圖傳到殘差注意力網絡里面得到殘差特征圖。然后將殘差特征圖和卷積層特征圖結合得到殘差響應圖。同時將上一幀和當前幀同時傳到卷積網絡層里面來提取特征圖，然后將第一幀的殘差響應圖，上一幀和當前幀的特征圖同時傳到三個全連接層里面來預測當前幀中跟蹤目標的位置。最后通多輸出層來輸出當前幀中跟蹤目標左上角和右下角的坐標位置。本發明提高了跟蹤算法在目標遮擋等復雜情況下的準確率和魯棒性。

技術領域

本發明屬于圖像處理技術領域，特別涉及基于卷積神經網絡的殘差注意力機制和融合上下文信息的目標跟蹤方法以及兩種方法的結合。

背景技術

目標跟蹤算法是計算機視覺領域里面的一個重要的方向有著廣泛的應用。越來越多的學者都致力于目標跟蹤算法的研究。目標跟蹤算法主要分為以下兩種：傳統的目標跟蹤算法、基于卷積神經網絡的跟蹤算法。

傳統的目標跟蹤算法主要分為產生式模型和判別式模型。生成式模型是將跟蹤問題看做搜索與跟蹤目標最相近的圖像區域，主要包括采用稀疏表示模型、密度估計模型、增量子空間模型等等。判別式模型主要是利用在線學習或者離線訓練檢測器來區分背景和目標，找出目標所在的位置。這些跟蹤算法通常基于多實例學習、P-N學習、結構化支持向量機(support vector machine SVM)等分類器。傳統算法中由于相關濾波器在計算效率的優異性能，使其在目標跟蹤領域備受關注。其中一種具有平均誤差的濾波器跟蹤速度可以達到每秒百幀。同時一種基于相關濾波的CSK跟蹤算法，解決了密集采樣問題，并利用了傅里葉變換快速實現了檢測過程完成了跟蹤。

基于卷積神經網絡的目標跟蹤算法主要分為三大類：基于分類的卷積神經網絡目標跟蹤、基于回歸的卷積神經網絡目標跟蹤、基于相似度匹配的卷積神經網絡目標跟蹤。基于分類的卷積神經網絡目標跟蹤充分的利用了卷積神經網絡特征提取和分類的強大能力，通過離線訓練和再現微調的方法利用大量的數據離線訓練網絡，使網絡獲得通用特征表達能力，再利用第一幀目標周圍的正負樣本的信息在線微調，大大減少了對于樣本的需求，基于回歸的卷積神經網絡目標跟蹤通過輸出的熱度圖直接回歸出當前幀中跟蹤目標所在的位置。基于相似度匹配的卷積神經網絡目標跟蹤是將跟蹤視頻序列中的第一幀或者上一幀作為模板，使用模板和候選區域來進行相似度匹配，相似度最高的區域就是我們要跟蹤的目標位置。

雖然跟蹤算法眾多但是仍然存在著一些問題，在復雜場景中仍存在目標形變、光照變化、快速運動、相似背景干擾、遮擋和尺度變化等問題。基于卷積神經網絡的跟蹤算法雖然可以取得出色的跟蹤效果，但是這些算法存在著計算量大，運行速度慢的問題很難達到實時跟蹤。基于卷積神經網絡的GOTURN算法雖然可以達到每秒百幀但是存在著準確率低，魯棒性差的問題。我們的算法在孿生網絡的基礎上增加了殘差注意網絡和融合了上下文信息，使得我們的算法在兼顧速度的基礎上提升了跟蹤精度。

發明內容

本發明旨在解決以上現有技術的問題。提出了一種提升了跟蹤精度的結合殘差注意力和上下文信息的目標跟蹤算法。本發明的技術方案如下：

一種結合殘差注意力和上下文信息的目標跟蹤算法，其包括以下步驟：

S1、將第一幀已經標注好的的跟蹤目標區域，上一幀已經預測的區域和當前幀的搜索區域同時傳到卷積層，得到第一幀的卷積特征圖、上一幀的卷積特征圖及當前幀的卷積特征圖；

S2、將第一幀的卷積特征圖送到殘差注意力網絡經過五層卷積操作得到殘差特征圖；

S3、將第一幀的卷積特征圖和殘差特征圖進行乘積操作得到殘差響應特征圖；

S4、將第一幀的殘差特征響應圖、上一幀和當前幀的卷積特征圖傳到全連接層，通過全連接層將卷積層二維的特征圖轉成一維的向量，通過全連接層來學習第一幀，上一幀和當前幀三者之間的時空關系；