[發明專利]一種基于密集連接孿生神經網絡的目標跟蹤方法

在審

• 申請號: 202010420205.0
• 申請日: 2020-05-18
• 公開（公告）號: CN111724409A
• 公開（公告）日: 2020-09-29
• 發明（設計）人: 產思賢;王平浩;周小龍;陳勝勇;劉鵬
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06N3/04;G06T7/11;G06K9/62
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

一種基于密集連接孿生神經網絡的目標跟蹤方法，包括以下步驟：1)提取輸入模板幀和檢測幀圖像對特征：使用主干網絡為DenseNet的孿生神經網絡提取輸入圖像對特征；2)生成候選區域：將特征圖輸入RPN網絡，經過分類分支和回歸分支得到多個proposals；篩選候選區域：使用余弦窗抑制和尺度懲罰篩選出最終的proposals；3)對模板分支和檢測分支得到的proposals進行相似性度量，使用非極大抑制得到最終的bounding box，通過線性插值更新圖像尺寸，得到在檢測幀中目標最終的預測跟蹤位置。本發明在處理視頻序列中特定目標的跟蹤取得了較好的效果。

技術領域

本發明涉及到計算機視覺中目標跟蹤任務，是一種孿生神經網絡目標跟蹤框架，可以對視頻序列執行跟蹤定位功能，屬于圖像處理領域。

背景技術

基于視覺的目標跟蹤是計算機視覺中眾多任務里的一個重要分支，被廣泛應用于智能安防，智慧交通和自動駕駛等領域。目標跟蹤的任務就是在給定某視頻序列初始幀的目標大小與位置的情況下，預測后續幀中該目標的大小與位置，實現對運動目標行為的分析和理解，以便完成后續更高級的任務。研究人員對目標跟蹤技術的探索已有多年，目標跟蹤算法的性能逐漸改善，但是在復雜條件下對運動目標實現實時、穩定的跟蹤仍存在很大的挑戰，面臨的挑戰主要有：形態變化、尺度變化、遮擋與消失、圖像模糊等。

隨著深度學習在目標跟蹤領域的應用，以孿生神經網絡為基礎的算法憑借其良好的性能和速度引起了廣泛的關注。Tao等人首次將孿生神經網絡引入到目標跟蹤，在OTB50數據集上取得了很好的效果，但是受限于候選采樣處理的計算量，速度僅有2FPS，無法實時運行。Bertinetto等人采用全連接層減少了計算量，并且只使用了五層卷積層來訓練相似性函數，在實時運行的情況下取得了良好的跟蹤結果，但是其精度依然無法超過使用相關濾波的算法如ECO。

發明內容

為了克服現有技術的不足，本發明提出了一種基于密集連接孿生神經網絡的目標跟蹤方法，與現有的孿生神經網絡目標跟蹤框架不同的是，該方法引入了更深的且效果更好的密集連接網絡DenseNet取代AlexNet作為孿生神經網絡特征提取的主干網絡，進一步提升了網絡的性能。本發明創造性的將深層卷積神經網絡應用到孿生目標跟蹤網絡中，有效的提升了目標跟蹤的精度。

本發明解決其技術問題所采用的技術方案是：

一種基于密集連接孿生神經網絡的目標跟蹤方法，該方法包括以下步驟：

步驟1：使用孿生神經網絡提取特征，過程如下：

步驟1.1：該網絡由擁有三個Dense Block的DenseNet組成，相鄰兩個Dense Block之間連接一個1*1的卷積層和一個2*2mean-pooling層；

步驟1.2：每個Dense Block由Batch Normalization層、ReLU層和卷積層組成；

步驟1.3：視頻序列的初始幀為模板幀，當前幀為檢測幀，分別輸入孿生神經網絡，得到模板幀和檢測幀的特征圖；

步驟2：將特征圖輸入RPN網絡，生成候選區域，過程如下：

步驟2.1：RPN網絡由兩部分組成，一部分是分類分支，用于區分目標和背景，另一部分是回歸分支，用于微調候選區域；

步驟2.2：對于分類分支，RPN網絡接收步驟1生成的模板幀和檢測幀的特征圖，使用一個新的卷積核對它們進行卷積操作，縮小特征圖的同時產生了新的特征圖；

步驟2.3：以模板幀特征圖為卷積核對檢測幀特征圖進行卷積操作得到響應圖；

步驟2.4：對于回歸分支，執行上述相同的操作同樣得到響應圖，根據分類分支和回歸分支的輸出提取出得分前M的輸出，得到前M個proposals的位置信息；