[發明專利]一種視頻目標跟蹤方法

有效

• 申請號: 201910541036.3
• 申請日: 2019-06-21
• 公開（公告）號: CN110298867B
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 吳斌;贠周會;謝吉朋;王欣欣;應艷麗;葉超;王旭;黃江林;賈楠;陳栢棟
• 申請（專利權）人: 江西洪都航空工業集團有限責任公司
• 主分類號: G06T7/246
• 分類號: G06T7/246
• 代理公司: 南昌新天下專利商標代理有限公司 36115
• 代理人: 施秀瑾

本發明公開了一種視頻目標跟蹤方法，包括以下步驟：S1、對視頻流進行解碼獲取圖像數據；S2、將解碼后的圖像數據選取當前幀輸入到SSD模型中，進行多目標識別，提取圖像中的各類目標類別信息、目標位置框信息和目標圖像框面積信息；S3、初始化卡爾曼濾波器，根據前一幀圖像中的目標位置框信息預測下一幀目標位置框信息；S4、利用改進的匈牙利算法對步驟S2提取到的目標位置框信息與步驟S3預測的目標位置框信息進行最優匹配；S5、獲取下一幀圖像數據，重復步驟S2、S3，實現多連續幀視頻中的多目標跟蹤。該方法克服了多目標運動交疊、部分遮擋、形變等情況，實現對視頻多目標的有效跟蹤，速度快、效率高，可廣泛應用于實戰中。

技術領域

本發明涉及計算機視覺技術領域，具體是一種視頻目標跟蹤方法。

背景技術

視覺目標跟蹤是計算機視覺領域中非常具有挑戰性的問題之一。視覺目標跟蹤的任務是在視頻序列中給定目標在初始幀的狀態(即位置、尺寸等信息)的情況下，估計目標在后續幀的狀態，而視頻多目標跟蹤是指需要對同一場景下的多類目標進行跟蹤。視頻多目標跟蹤包括目標檢測和目標跟蹤兩個步驟：其中，常見的目標檢測方法有光流法、幀間差分法、背景減差法和基于深度學習的目標檢測方法等；比較成熟目標跟蹤方法有卡爾曼濾波器算法、Meanshift算法和Camshift算法。雖然近年來視覺目標跟蹤技術發展迅速，但是由于在跟蹤過程中多種目標、多目標間交替遮擋、外觀形變、快速運動、光照變化、尺度變化和背景復雜等因素的影響，視覺目標跟蹤技術的應用仍然困難重重。。

發明內容

為解決上述問題，本發明提供一種視頻目標跟蹤方法。

本發明采用的技術方案是：一種視頻目標跟蹤方法，包括以下步驟：

S1、對視頻流進行解碼獲取圖像數據；

S2、將步驟S1解碼后的圖像數據選取一幀輸入到SSD模型中，進行多目標識別，提取圖像中的各類目標類別信息、目標位置框信息和目標圖像框面積信息；

S3、初始化卡爾曼濾波器，根據前一幀圖像中的目標位置框信息預測下一幀目標位置框信息；

S4、利用改進的匈牙利算法對步驟S2提取到的目標信息與步驟S3預測的目標信息進行最優匹配；由于卡爾曼濾波預測是基于上一幀的目標位置預測下一幀的目標位置，所以預測目標的信息數據(除了目標框位置信息以外的其他信息數據，比如目標類別、目標面積框信息等)即為上一幀的目標的信息數據；

S5、獲取S1解碼的下一幀圖像數據，重復步驟S2、S3，實現多連續幀視頻中的多目標跟蹤。

進一步地，所述步驟S1中，利用ffmpeg、cuda對實時視頻流或者本地視頻文件進行硬解碼、圖像轉換，得到能進行計算的圖像數據。

進一步地，所述步驟S1中，利用OpenCV的函數進行實時視頻流或者本地視頻文件讀取，得到能進行計算的圖像數據。

進一步地，所述步驟S2中，需要先在ubuntu下配置caffe環境，對caffe中的SSD算法的C++進行重新編譯，然后將步驟S1解碼后的圖像數據輸入到SSD模型中，進行多目標識別。

進一步地，所述步驟S2中，包括獲取目標RGB顏色直方圖，利用視頻結構化獲取目標的更多信息。

進一步地，所述步驟S2中，目標的更多信息包括針對行人獲取性別、年齡、衣著特征，針對車輛獲取車牌號、車輛類別、顏色、品牌信息。

進一步地，所述步驟S2中，目標類別包括人，自行車，小車，大巴車，摩托車，動物。

進一步地，所述步驟S4中，將步驟S2提取到的目標位置框信息、目標類別信息、目標圖像框面積信息以及步驟S3預測的目標位置框信息，進行歸一化處理，計算歐式距離

其中