[發明專利]一種基于PVANET神經網絡的目標跟蹤方法

有效

• 申請號: 201810584860.2
• 申請日: 2018-06-08
• 公開（公告）號: CN108898619B
• 公開（公告）日: 2021-02-23
• 發明（設計）人: 羅均;高建燾;李小毛;謝少榮;彭艷
• 申請（專利權）人: 上海大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06N3/04
• 代理公司: 上海上大專利事務所(普通合伙) 31205
• 代理人: 陸聰明

本發明提出了一種基于PVANET神經網絡的目標跟蹤方法。該方法不再使用Edgeboxes算法進行不同尺度的候選樣本的提取，而是改用PVANET神經網絡進行深度特征提取，并將淺層網絡輸出具有的空間信息的深度特征和深層網絡輸出的具有的判別能力的深度特征進行融合，在融合后的深度特征的基礎上，利用PVANET神經網絡中的RPN層進行不同尺度的候選樣本的提取，并同時輸出候選樣本所對應的融合后的深度特征。該方法在利用神經網絡中具有強大表征能力的深度特征的基礎上，進行特征融合和不同尺度的候選樣本的提取，從而提高目標跟蹤精度。該方法是一種魯棒性的跟蹤算法，能在不同的跟蹤場景中取得不錯的效果。

技術領域

本發明屬于計算機視覺技術領域，具體涉及一種基于PVANET神經網絡的目標跟蹤方法。

背景技術

目標跟蹤由于其在行為分析、車輛導航、人機交互、醫學成像、視頻監控等眾多領域都有著廣闊的應用，從而成為計算機視覺技術最活躍的研究之一。目標跟蹤是指在給定視頻第一幀中的目標位置，對之后的每一幀進行目標定位。目標跟蹤的核心問題緊跟隨著時間不斷變化的目標。盡管近年來在國內外學者的不斷研究下，目標跟蹤算法得到了迅速發展，但在光照變化劇烈、目標快速運動、部分遮擋等情況下仍然無法取得很好效果。

近年來，國內外學者提出了多種跟蹤算法，主要可以分成兩類：一類是基于對于目標本身進行描述和刻畫的生成式模型；另一類旨在將目標和背景分離開的判別式模型。生成式模型重點在于建立目標外觀模型的表征，雖然構建有效的外觀模型以處理跟蹤中的各種具有挑戰性的情況至關重要，但是與此同時，也會增加很大的計算復雜度，并且還會丟棄了可用于更好地將對象與背景分離的目標區域周圍的有用信息，例如詞典學習算法、稀疏編碼算法、PCA等；判別式模型將跟蹤問題轉換為目標和背景的二分類問題，即把跟蹤的目標作為前景，利用在線學習或離線訓練的判斷器來區分前景目標和背景，從而得到前景目標的位置。在進行判斷前往往會進行特征提取，以作為判斷依據提高判斷的精確度，但是這也會導致有大量的候選樣本需要進行特征提取，使得難以達到實時性，例如Struck、MIL等算法。生成式模型著眼于對目標本身的刻畫，忽略背景信息，在目標自身變化劇烈或者被遮擋時容易產生漂移。判別式模型通過訓練分類器來區分目標和背景(即從背景中區分目標)。判別式方法因為顯著區分背景和前景的信息，表現更為魯棒，在目標跟蹤領域占據主流地位。

但是，對于跟蹤算法而言，最重要的兩個指標是實時性與精確度。由于傳統判別式跟蹤算法在進行判斷前往往會進行特征提取，以作為判斷依據提高判斷的精確度，但也會導致有大量的候選樣本需要進行特征提取，從而很難達到實時性。

為了解決這一問題，2010年MOSSE算法將相關濾波引入到目標跟蹤中，從而使得跟蹤算法速度達到高速狀態。相關濾波是一種傳統的信號處理方法，其描述了兩個樣本之間的相似程度。但是由于MOSSE算法采用的是隨機采樣，從而導致正負訓練數目不足而使得精度較低。2012年CSK算法基于MOSSE算法通過建立循環位移的結構將目標進行稠密采樣，以此增加正負樣本的數目，以此解決目標跟蹤之中訓練樣本不足的問題。除此之外，通過對于這些樣本進行循環位移的處理，將對目標樣本的計算轉化到頻率域中的求解，通過使用快速傅里葉變換的方法，大大地提高目標跟蹤的效率。然而CSK算法采用的是單通道灰度特征，在特征表征上不夠魯棒。針對以上問題，2015年CN算法改用多通道的顏色特征，KCF算法改用多通道HOG特征，使得精度得到提高。