[發明專利]一種基于視頻監控的行人多目標跟蹤方法

有效

• 申請號: 202110664925.6
• 申請日: 2021-06-16
• 公開（公告）號: CN113256690B
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 胡謀法;張瑤;張路平;王玨;盧煥章;趙菲;肖山竹;陶華敏;沈杏林;鄧秋群
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06T7/277
• 分類號: G06T7/277;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 長沙國科天河知識產權代理有限公司 43225
• 代理人: 邱軼

1.一種基于視頻監控的行人多目標跟蹤方法，其特征在于，所述方法包括：

獲取監控視頻數據，并進行預處理得到檢測訓練樣本和重識別訓練樣本；

構建行人多目標跟蹤網絡；所述行人多目標跟蹤網絡包括：Faster RCNN網絡和改進的DEEPSORT網絡；所述Faster RCNN網絡用于行人目標檢測得到行人目標；所述改進的DEEPSORT網絡用于提取所述行人目標中的行人表觀特征和行人運動特征，并采用巴氏距離進行相似度計算和匹配，得到行人目標ID分配結果；所述改進的DEEPSORT網絡是對DEEPSORT網絡中用于行人運動預測與更新的模塊進行了改進后的網絡，改進點包括：對行人目標重新進行非線性運動建模，并構建無跡卡爾曼濾波模塊，用所述無跡卡爾曼濾波模塊替換DEEPSORT網絡中的卡爾曼濾波模塊；所述改進的DEEPSORT網絡還包括用于提取行人表觀特征的行人重識別網絡；

利用所述檢測訓練樣本對所述Faster RCNN網絡進行訓練，得到訓練好的目標檢測網絡；

利用所述重識別訓練樣本對所述行人重識別網絡進行訓練，得到訓練好的行人重識別網絡；

獲取待測監控視頻數據，并進行預處理得到待測樣本；

將所述待測樣本輸入到訓練好的所述行人多目標跟蹤網絡中進行行人目標跟蹤，得到各行人運動軌跡；

其中：構建行人多目標跟蹤網絡，步驟中：對行人目標重新進行非線性運動建模，并構建無跡卡爾曼濾波模塊，用所述無跡卡爾曼濾波模塊替換DEEPSORT網絡中的卡爾曼濾波模塊，包括：

將初始的行人勻速運動改為小弧度轉彎CA運動模型，用一個9維空間表示軌跡某時刻的狀態，運動模型表達式如下式所示：

其中：、表示目標的檢測框的中心點坐標，表示檢測框的寬高比，表示檢測框的高度，、表示檢測框的中心點坐標變化率，表示檢測框的寬高比變化率，表示檢測框的高度變化率，為目標前后幀運動形成的角度差；

利用UT變換與比例修正對稱采樣策略選取Sigma點，并根據得到的Sigma點進行類似卡爾曼濾波的預測與更新兩階段，得到無跡卡爾曼濾波模塊。

2.根據權利要求1所述的方法，其特征在于，所述Faster RCNN網絡包括用于特征提取的骨干網絡、用于目標候選框提取的RPN網絡以及用于進一步分類和檢測框回歸的頭網絡；所述骨干網絡是卷積神經網絡VGG；

利用所述檢測訓練樣本對所述Faster RCNN網絡進行訓練，得到訓練好的目標檢測網絡，包括：

將所述檢測訓練樣本輸入到所述骨干網絡中，得到特征圖；

將所述特征圖輸入到所述RPN網絡中，得到目標候選檢測框；

將所述特征圖和所述目標候選檢測框輸入到所述頭網絡中，得到目標分類結果和檢測回歸框；

根據所述目標分類結果、所述檢測回歸框以及對應所述檢測訓練樣本的真實標注信息，采用預設的損失函數和Adam優化器，采用反向傳播算法對所述Faster RCNN網絡的參數進行更新，得到訓練好的目標檢測網絡。

3.根據權利要求1所述的方法，其特征在于，利用所述重識別訓練樣本對所述行人重識別網絡進行訓練，得到訓練好的行人重識別網絡，包括：

將所述重識別訓練樣本輸入到所述行人重識別網絡中，得到行人表觀特征；所述行人重識別網絡是小型殘差卷積神經網絡；

根據所述行人表觀特征和所述重識別訓練樣本，采用交叉熵損失函數和Adam優化器，采用反向傳播算法對所述小型殘差卷積神經網絡的參數進行更新，得到訓練好的行人重識別網絡。

4.根據權利要求1所述的方法，其特征在于，所述改進的DEEPSORT網絡還包括：相似度計算模塊和數據關聯優化模塊；

將所述待測樣本輸入到訓練好的所述行人多目標跟蹤網絡中進行行人目標跟蹤，得到各行人運動軌跡，包括：

將所述待測樣本輸入到訓練好的所述Faster RCNN網絡中，得到待測特征圖；

將所述待測特征圖輸入到訓練好的所述行人重識別網絡中，得到待測行人表觀特征；

將所述待測特征圖輸入到所述無跡卡爾曼濾波模塊中，得到待測行人運動特征；

根據所述待測行人表觀特征和所述待測行人運動特征，在相似度計算模塊中采用巴氏距離計算檢測框向量化后的近似度，并根據計算得到的兩個相似性度量構建關聯代價矩陣；

根據所述關聯代價矩陣，在所述數據關聯優化模塊中采用匈牙利算法，得到每一幀各行人目標的檢測框中心位置與對應的行人ID；

以最終的檢測框中心位置代替行人，繪制同一行人ID信息在時間系列上的軌跡。