[發明專利]一種基于FPN神經網絡的目標跟蹤方法

有效

• 申請號: 201810329415.1
• 申請日: 2018-04-13
• 公開（公告）號: CN108830878B
• 公開（公告）日: 2021-02-23
• 發明（設計）人: 羅均;高建燾;李小毛;謝少榮;彭艷
• 申請（專利權）人: 上海大學
• 主分類號: G06T7/20
• 分類號: G06T7/20;G06N3/08
• 代理公司: 上海上大專利事務所(普通合伙) 31205
• 代理人: 陸聰明

本發明提出了一種基于FPN神經網絡的目標跟蹤方法。該方法不再使用傳統的VGG深度神經網絡，而是改用FPN深度神經網絡。利用FPN深度神經網絡中對神經網絡淺層網絡輸出的深度特征圖所具有的空間信息和深層網絡輸出的深度特征圖所具有的判別能力很好的融合能力，從而提高目標跟蹤精度。該方法是一種實時魯棒性的跟蹤算法，在不同的跟蹤場景中取得了不錯的效果。

技術領域

本發明屬于計算機視覺技術領域，具體涉及一種基于FPN神經網絡的目標跟蹤方法。

背景技術

目標跟蹤由于其在行為分析、車輛導航、人機交互、醫學成像、視頻監控等眾多領域都有著廣闊的應用，從而成為計算機視覺技術最活躍的研究之一。目標跟蹤是指在給定視頻第一幀中的目標位置，對之后的每一幀進行目標定位。目標跟蹤的核心問題緊跟隨著時間不斷變化的目標。盡管近年來在國內外學者的不斷研究下，目標跟蹤算法得到了迅速發展，但在光照變化劇烈、目標快速運動、部分遮擋等情況下仍然無法取得很好效果。

近年來，國內外學者提出了多種跟蹤算法，主要可以分成兩類：一類是基于對于目標本身進行描述和刻畫的生成式模型；另一類旨在將目標和背景分離開的判別式模型。生成式模型重點在于建立目標外觀模型的表征，雖然構建有效的外觀模型以處理跟蹤中的各種具有挑戰性的情況至關重要，但是與此同時，也會增加很大的計算復雜度，并且還會丟棄了可用于更好地將對象與背景分離的目標區域周圍的有用信息；判別式模型將跟蹤問題轉換為目標和背景的二分類問題，即把跟蹤的目標作為前景，利用在線學習或離線訓練的判斷器來區分前景目標和背景，從而得到前景目標的位置。在進行判斷前往往會進行特征提取，以作為判斷依據提高判斷的精確度，但是這也會導致有大量的候選樣本需要進行特征提取，使得難以達到實時性。

相關濾波是一種傳統的信號處理方法，其描述了兩個樣本之間的相似程度。2010年MOSSE算法將其引入到目標跟蹤中，從而使得跟蹤算法速度達到高速狀態，但是由于其采用的是隨機采樣，從而導致正負訓練數目不足而使得精度較低。2012年CSK算法基于MOSSE算法通過建立循環位移的結構將目標進行稠密采樣，以此增加正負樣本的數目，以此解決目標跟蹤之中訓練樣本不足的問題。除此之外，通過對于這些樣本進行循環位移的處理，將對目標樣本的計算轉化到頻率域中的求解，通過使用快速傅里葉變換的方法，大大地提高目標跟蹤的效率。然而CSK算法采用的是單通道灰度特征，在特征表征上不夠魯棒。針對以上問題，2015年CN算法改用多通道的顏色特征，KCF算法改用多通道HOG特征，使得精度得到提高。但是CN算法和KCF算法在卷積求解中使用的固定大小的模板，從而導致模型沒有尺度自適應的功能，DSST算法在原本的位置濾波器基礎上增加了一個尺度濾波器，FDSST算法在DSST算法的基礎上進行改進增加其跟蹤速度，SAMF算法通過多尺度采樣獲取候選樣本來使得模型具有尺度適應性。由于使用循環位移構造樣本增加正負樣本數量，圖像像素會跨越邊界，這樣就產生的錯誤樣本，使得分類器判別力降低，即所謂的邊界效應。2015年提出的SRDCF算法通過引入成一種符合空間約束的正則化權重系數從而極大地減小了邊界效應，提高了跟蹤精度。基于相關濾波的跟蹤算法屬于判別式跟蹤算法，其在進行判斷前往往會進行特征提取，以作為判斷依據提高判斷的精確度，特征的表征能力在很大程度上決定了跟蹤效果。自從2012年Hinton利用AlexNet深度卷積神經網絡在ImageNet圖像分類比賽中一舉獲得第一后，深度卷積神經網絡開始興起，其在許多任務中也展現了其令人驚嘆的性能，特別是其所具有的強大的特征提取能力。2015年提出DeepSRDCF算法將VGG深度卷積神經網絡應用于SRDCF算法中，使得精度得到進一步的提高，但是其只能使用單層神經網絡所輸出的特征圖，這一局限極大地限制了其原本具有的潛力。2016年C-COT算法通過訓練連續性卷積濾波器的方法，從而使得能有效地結合多層神經網絡輸出的深度特征圖。但是C-COT算法結合多層神經網絡輸出的深度特征圖的方式只是在高維度空間上進行簡單地結合，并沒有很好地融合神經網絡淺層網絡輸出的深度特征圖所具有的空間信息和深層網絡輸出的深度特征圖所具有的判別能力。