[發(fā)明專利]一種基于視頻監(jiān)控的行人多目標跟蹤方法

有效

• 申請?zhí)枺?/td>: 202110664925.6
• 申請日: 2021-06-16
• 公開（公告）號: CN113256690B
• 公開（公告）日: 2021-09-17
• 發(fā)明（設(shè)計）人: 胡謀法;張瑤;張路平;王玨;盧煥章;趙菲;肖山竹;陶華敏;沈杏林;鄧秋群
• 申請（專利權(quán)）人: 中國人民解放軍國防科技大學
• 主分類號: G06T7/277
• 分類號: G06T7/277;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 長沙國科天河知識產(chǎn)權(quán)代理有限公司 43225
• 代理人: 邱軼

本申請涉及一種基于視頻監(jiān)控的行人多目標跟蹤方法，所述方法以監(jiān)控視頻中的行人目標作為應用場景，采用Faster RCNN網(wǎng)絡獲得場景內(nèi)目標檢測結(jié)果，以無跡卡爾曼濾波模塊替換DEEPSORT網(wǎng)絡中的卡爾曼濾波模塊，對目標檢測結(jié)果提取行人運動特征和行人表觀特征，并進行目標之間的相似度比較，得到最終目標檢測結(jié)果在各幀之間的正確關(guān)聯(lián)。本發(fā)明采用改進的DEEPSORT網(wǎng)絡根據(jù)行人真實場景中的運動狀態(tài)，重新建立視頻監(jiān)控下的行人目標非線性運動模型，采用適用性更廣的無跡卡爾曼濾波模塊方法代替卡爾曼濾波模塊進行運動特征的提取，以及行人目標實時狀態(tài)的更新，提高監(jiān)控場景下行人目標跟蹤的準確性。

技術(shù)領(lǐng)域

本申請涉及多目標跟蹤技術(shù)領(lǐng)域，特別是涉及一種基于視頻監(jiān)控的行人多目標跟蹤方法。

背景技術(shù)

視覺多目標跟蹤技術(shù)利用數(shù)字信號處理技術(shù)，檢測視頻場景中感興趣的多個目標并進行正確、穩(wěn)定的跟蹤，是當前熱門的智能安防、自動駕駛系統(tǒng)的基礎(chǔ)性技術(shù)之一。視覺多目標跟蹤可以視為在目標檢測基礎(chǔ)上的數(shù)據(jù)關(guān)聯(lián)問題，因此，視覺多目標跟蹤涉及到目標檢測、特征提取、相似度計算、數(shù)據(jù)關(guān)聯(lián)等多項子任務。多目標跟蹤除了面臨到單目標跟蹤存在的目標形變、環(huán)境變化等挑戰(zhàn)之外，視覺多目標跟蹤任務還面臨著由于目標增加所帶來的新的挑戰(zhàn)：

（1）場景中感興趣的目標數(shù)量不確定

（2）目標與背景存在遮擋或者感興趣目標之間的互相遮擋

（3）同類目標之間的相似度高，可區(qū)分特征不明顯

隨著智能圖像處理技術(shù)的發(fā)展，為了克服上述難點，當前視覺多目標跟蹤技術(shù)取得了一定的進展，但是傳統(tǒng)的基于深度學習的視覺多目標跟蹤方法對于感興趣的多目標運動建模的精細度不夠，通常簡單的將目標運動建模為簡單的勻速直線運動，在對運動特征依賴性較高的場景下跟蹤錯誤較多。

發(fā)明內(nèi)容

基于此，有必要針對上述技術(shù)問題，提供一種既能提高跟蹤準確度，又能改進行人目標運動預測跟蹤的基于視頻監(jiān)控的行人多目標跟蹤方法。

一種基于視頻監(jiān)控的行人多目標跟蹤方法，所述方法包括：

獲取監(jiān)控視頻數(shù)據(jù)，并進行預處理得到檢測訓練樣本。

構(gòu)建行人多目標跟蹤網(wǎng)絡；所述行人多目標跟蹤網(wǎng)絡包括：Faster RCNN網(wǎng)絡和改進的DEEPSORT網(wǎng)絡，所述Faster RCNN網(wǎng)絡用于行人目標檢測得到行人目標；所述改進的DEEPSORT網(wǎng)絡用于提取所述行人目標中的行人表觀特征和行人運動特征，并采用巴氏距離進行相似度計算和匹配，得到行人目標ID分配結(jié)果；所述改進的DEEPSORT網(wǎng)絡是對DEEPSORT網(wǎng)絡中用于行人運動預測與更新的模塊進行了改進后的網(wǎng)絡，改進點包括：對行人目標重新進行非線性運動建模，并構(gòu)建無跡卡爾曼濾波模塊，用所述無跡卡爾曼濾波模塊替換DEEPSORT網(wǎng)絡中的卡爾曼濾波模塊；

利用所述檢測訓練樣本對所述Faster RCNN網(wǎng)絡進行訓練，得到訓練好的目標檢測網(wǎng)絡。

利用所述重識別訓練樣本對所述行人重識別網(wǎng)絡進行訓練，得到訓練好的行人重識別網(wǎng)絡。

獲取待測監(jiān)控視頻數(shù)據(jù)，并進行預處理得到待測樣本。

將所述待測樣本輸入到訓練好的所述行人多目標跟蹤網(wǎng)絡中進行行人目標跟蹤，得到各行人運動軌跡。

在其中一個實施例中，構(gòu)建行人多目標跟蹤網(wǎng)絡，步驟中：對行人目標重新進行非線性運動建模，并構(gòu)建無跡卡爾曼濾波模塊，用所述無跡卡爾曼濾波模塊替換DEEPSORT網(wǎng)絡中的卡爾曼濾波模塊，包括：

將初始的行人勻速運動改為小弧度轉(zhuǎn)彎CA運動模型，用一個9維空間表示軌跡某時刻的狀態(tài)，運動模型表達式如下式所示：