[發(fā)明專利]一種基于卷積稀疏濾波的視覺跟蹤方法

有效

• 申請?zhí)枺?/td>: 201910058846.3
• 申請日: 2019-01-22
• 公開（公告）號: CN109859244B
• 公開（公告）日: 2022-07-08
• 發(fā)明（設(shè)計）人: 畢瑞星;馬鐘
• 申請（專利權(quán)）人: 西安微電子技術(shù)研究所
• 主分類號: G06T7/246
• 分類號: G06T7/246
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 徐文權(quán)

本發(fā)明公開了一種基于卷積稀疏濾波的視覺跟蹤方法，包括以下步驟：1)采用卷積稀疏濾波方法進行離線訓(xùn)練，在跟蹤視頻序列上進行無監(jiān)督特征學(xué)習(xí)，以得到一組卷積核；2)以此卷積核組成卷積神經(jīng)網(wǎng)絡(luò)進行在線跟蹤，從而對輸入圖像進行特征提取；3)結(jié)合核化相關(guān)濾波跟蹤框架，實現(xiàn)對目標(biāo)的跟蹤。發(fā)明的基于卷積稀疏濾波的視覺跟蹤方法，該方法基于深度學(xué)習(xí)原理，自動學(xué)習(xí)待跟蹤目標(biāo)的特征，從而可以利用大數(shù)據(jù)的優(yōu)勢，獲得更穩(wěn)定、更有區(qū)分力的特征，進而實現(xiàn)高精度、高魯棒性的跟蹤效果。本發(fā)明基于卷積稀疏濾波跟蹤方法，具有準(zhǔn)確率高、速度快及跟蹤效果穩(wěn)健的特點。

技術(shù)領(lǐng)域

本發(fā)明屬于視覺跟蹤技術(shù)領(lǐng)域，尤其是一種基于卷積稀疏濾波的視覺跟蹤方法。

背景技術(shù)

視覺跟蹤是計算機視覺研究領(lǐng)域中的熱點，有著廣泛的應(yīng)用。而跟蹤技術(shù)對運算速度的要求很高，無法達到實時即意味著難以實用。目前跟蹤效果最好的方法均為基于深度學(xué)習(xí)的方法。其中效果最好的跟蹤算法是韓國浦項工科大學(xué)的Hyeonseob Nam和BohyungHan提出的MDNet，該方法基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的多域?qū)W習(xí)框架，將域無關(guān)信息從特定域信息中分離出來，以獲取有效的表示。首次實現(xiàn)了直接使用視頻序列作為訓(xùn)練數(shù)據(jù)。此外，他們還將難樣本挖掘技術(shù)整合進在線學(xué)習(xí)中，成為提升該算法性能的一個關(guān)鍵。但由于在跟蹤過程中還需要利用跟蹤時的數(shù)據(jù)對模型進行fine-tune訓(xùn)練，導(dǎo)致該算法速度很慢。在普通PC機上處理1幀就需要3～5秒，難以實用。另外，他們的目標(biāo)位置預(yù)測是通過隨機裁框，對這些框進行分類，最后再對分類出的框進行框回歸(bounding box regression)以得到精確的目標(biāo)位置。該策略顯然不是目標(biāo)位置預(yù)測的最優(yōu)策略，且同樣運算速度較慢。因此，為將此類高性能算法實用化，可以從兩個方面進行改進：一是僅離線訓(xùn)練，跟蹤過程中只進行預(yù)測，避免運算量巨大的訓(xùn)練部分，從而提高跟蹤速度；另一方面是直接采用框回歸以得到目標(biāo)的位置。

根據(jù)此思路，斯坦福大學(xué)的David Held等人提出了一種叫做GOTURN的跟蹤算法。他們的模型僅進行離線訓(xùn)練，在跟蹤過程中不進行訓(xùn)練，并且他們的目標(biāo)位置預(yù)測是通過bounding box regression直接得到，這些做法大大提高了算法速度。他們報告該算法可達到100fps，但這些措施了降低了算法的跟蹤性能，根據(jù)他們報告的跟蹤效果，其跟蹤性能與傳統(tǒng)的DSST，SAMF，KCF算法近似。而且，其報告的速度是在GPU平臺上得到的，如該算法在Titan X GPU上可以達到165fps，在GTX 680GPU上可以達到100fps，但在cpu上只能達到2.7fps，同樣難以實用。從現(xiàn)有算法的分析可以看出，基于深度學(xué)習(xí)的方法采用跟蹤視頻序列進行訓(xùn)練，獲取了數(shù)據(jù)的有效表示，從而得到了較好的跟蹤效果，但較深的網(wǎng)絡(luò)深度帶來了大的計算量，難以滿足實時跟蹤的效果，使得此類算法難以在工程實踐中應(yīng)用。

在視覺系統(tǒng)目標(biāo)跟蹤時，要求跟蹤實時性強，并且跟蹤結(jié)果精度高，魯棒性強，所以如何在保證跟蹤實時性的前提下，提高跟蹤的精度和魯棒性是一個非常亟待解決的問題。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服上述現(xiàn)有技術(shù)的缺點，提供一種基于卷積稀疏濾波的視覺跟蹤方法。

為達到上述目的，本發(fā)明采用以下技術(shù)方案予以實現(xiàn)：

一種基于卷積稀疏濾波的視覺跟蹤方法，包括以下步驟：

1)采用卷積稀疏濾波方法對目標(biāo)特征提取矩陣進行離線訓(xùn)練，在跟蹤視頻序列上進行無監(jiān)督特征學(xué)習(xí)，得到最優(yōu)特征提取矩陣；

2)在線跟蹤過程中初始化跟蹤器，用最優(yōu)特征提取矩陣卷積得到初始模板特征和嶺回歸解；

3)利用最優(yōu)特征提取矩陣對測試圖像提取特征得到的測試樣本特征，利用核函數(shù)計算測試樣本特征與初始模板特征的相關(guān)性，而后卷積嶺回歸解，得到預(yù)測目標(biāo)位置，更新跟蹤器，實現(xiàn)對目標(biāo)的跟蹤。

進一步的，步驟1)具體包括步驟：

101)獲取訓(xùn)練數(shù)據(jù)集；