[發明專利]基于卷積神經網絡字典對學習的目標跟蹤方法與系統

有效

• 申請號: 202110707429.4
• 申請日: 2021-06-25
• 公開（公告）號: CN113256685B
• 公開（公告）日: 2021-09-24
• 發明（設計）人: 王軍;孟晨晨;鄧承志;王員云;章利民;張珮蕓;祝文狄;王涵
• 申請（專利權）人: 南昌工程學院
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/73;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京中濟緯天專利代理有限公司 11429
• 代理人: 黃攀

本發明提出一種基于卷積神經網絡字典對學習的目標跟蹤方法及系統，該方法包括：在第一幀目標圖像進行采樣處理以生成正候選樣本，根據正候選樣本訓練得到邊界框回歸模型；在后續幀目標框內的目標圖像的鄰域內重新進行采樣以生成正負候選樣本，對卷積神經網絡模型的全連接參數進行微調；基于空間距離機制以及卷積神經網絡模型獲得訓練樣本的深度特征，基于訓練樣本的深度特征進行字典對模型學習以獲得初始字典對；基于訓練樣本的特征并進行聯合字典對模型學習；通過聯合字典對中的原子的線性組合表示候選目標圖像樣本，以實現目標圖像定位跟蹤。本發明提出的目標跟蹤方法，具有很好的魯棒性與精確度，可以更好地處理目標外觀變化，實現目標跟蹤。

技術領域

本發明涉及計算機視覺與圖像處理技術領域，特別涉及一種基于卷積神經網絡字典對學習的目標跟蹤方法與系統。

背景技術

視覺跟蹤是計算機視覺中的一個重要研究課題，在現實世界中有著諸多的應用。具體的，視覺跟蹤技術已廣泛應用于智能視頻監控、交通車輛監控、自動駕駛、人機交互、醫療以及軍事等領域。因此，提高視頻跟蹤算法的準確度、時效性以及魯棒性有利于促進在相關領域的推廣與深入應用，有利于推動智能機器幫助人類完成單調繁瑣且危險的工作。

實際上，視頻跟蹤應用場景廣泛且復雜，在具有復雜背景的視頻跟蹤上經常會發生變形，并且由于受到運動模糊以及遮擋等因素的影響，使得其仍然面臨著很大的挑戰。一般來說，視覺跟蹤算法可以分為兩類：包括判別式算法以及生成式算法。（1）、基于判別模型的算法可看作是一種二分類問題，它可以有效地將被跟蹤的目標與周圍的背景區分開；（2）、基于生成模型的算法使用學習的相似性函數來比較給定搜索區域中的目標候選塊和目標模板。與此同時，判別跟蹤器也通常分為回歸模型和分類模型。特別是，判別相關濾波器由于運算速度快，已經成功地應用于視覺跟蹤。

目前，基于深度學習的跟蹤算法主要是利用卷積神經網絡具有強大的特征提取與表達能力，可用于提取目標特征并對前景背景進行區分以識別跟蹤目標。此外，基于深度學習的視頻跟蹤算法可以與傳統算法相結合，代替傳統低級手工提取特征的方式，并能夠實現權重共享以及減少訓練參數。

然而，現有技術中的部分視覺跟蹤算法的表觀模型，魯棒性與精確度均不是很理想，且無法很好地處理運動模糊、光照變化以及尺度變化等外觀變化所帶來的影響。

發明內容

鑒于上述狀況，有必要解決現有技術中的部分視覺跟蹤算法的表觀模型，魯棒性與精確度均不是很理想，且無法很好地處理運動模糊、光照變化以及尺度變化等外觀變化所帶來的影響的問題。

本發明實施例提供了一種基于卷積神經網絡字典對學習的目標跟蹤方法，其中，所述方法包括如下步驟：

步驟一：在第一幀目標框內的初始目標圖像進行采樣處理以生成正候選樣本，并根據所述正候選樣本訓練得到邊界框回歸模型；

步驟二：在后續幀目標框內的目標圖像的鄰域內重新進行采樣以生成正負候選樣本，根據所述正負候選樣本對卷積神經網絡模型的全連接參數進行微調，以確定所述給第一幀目標框內的目標圖像的最佳位置；

步驟三：基于空間距離機制以及所述卷積神經網絡模型獲得訓練樣本的深度特征，并基于所述訓練樣本的深度特征進行字典對模型學習以獲得初始字典對，其中，所述訓練樣本為基于空間距離機制在目標圖像鄰域內采樣得到的候選目標圖像樣本，所述候選目標圖像樣本即為所述正負候選樣本；

步驟四：根據所述初始字典對，并基于卷積神經網絡模型提取得到訓練樣本的特征，然后根據所述訓練樣本的特征進行聯合字典對模型學習；

步驟五：利用進行過聯合字典對模型學習的字典對，對所述訓練樣本進行編碼，通過聯合字典對中的原子的線性組合表示所述候選目標圖像樣本，以實現目標圖像定位跟蹤，其中字典對包括合成字典D以及分析字典P。