[發明專利]一種基于深度學習的監控視頻多目標追蹤方法

有效

• 申請號: 201710504914.5
• 申請日: 2017-06-28
• 公開（公告）號: CN107330920B
• 公開（公告）日: 2020-01-03
• 發明（設計）人: 凌賀飛;李葉;李平
• 申請（專利權）人: 華中科技大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06N3/02;G06N3/08
• 代理公司: 42201 華中科技大學專利中心
• 代理人: 廖盈春;李智

1.一種基于深度學習的監控視頻多目標追蹤方法，其特征在于，所述方法包括：

(1)對監控視頻按設定的間隔時間進行解碼獲得圖像；

(2)將解碼獲得的圖像輸入到訓練好的Faster R-CNN目標檢測網絡模型中，得到多個目標的位置信息和空間特征；

(3)將目標在多個時刻的位置信息以及空間特征輸入到LSTM網絡模型中進行LSTM網絡模型線下訓練，利用訓練好的LSTM網絡模型預測目標在下一時刻的位置；

(4)將目標在多個時刻的空間特征融合得到融合特征，計算目標的融合特征和目標在當前時刻提取的空間特征的相似度，同時計算目標通過LSTM方法預測的位置矩形R_o和目標在當前時刻檢測出的位置矩形R_s之間的相似度，根據結合空間特征和位置信息的匹配判斷最新檢測出的目標與已經追蹤到目標的歸屬關系；所述步驟(4)具體為：

(41)將同一個目標在相鄰連續時刻的空間特征融合得到目標的融合特征，計算方式為：

其中，t_n代表t_n-1的上一時刻，F_o,t代表目標在時刻t的融合特征，代表此目標在t₁時刻的空間特征，代表此目標在t₂時刻的空間特征；

(42)將目標的融合特征F_o,t和目標在當前時刻提取的空間特征F_s,t對比，使用余弦相似度計算其特征相似度F，計算方式如下：

(43)將目標通過LSTM方法預測的位置矩形R_o和目標在當前時刻檢測出的位置矩形R_s對比，使用矩形的面積交并比IOU計算位置相似度R，表示如下：

其中，S_inter＝(min(r₁.r,r₂.r)-max(r₁.l,r₂.l))*(min(r₁.b,r₂.b)-max(r₁.t,r₂.t))；r₁.t,r₁.b,r₁.l,r₁.r分別代表矩形R_s的上、下、左、右邊界值，r₂.t,r₂.b,r₂.l,r₂.r分別代表矩形R_o的上、下、左、右邊界值，S_inter為兩個矩形的重疊面積，S₁、S₂分別代表R_s和R_o兩個矩形的面積；

(44)將特征相似度和位置相似度結合起來，添加特征相似度權值w₁和位置相似度權值w₂進行平衡以獲取綜合相似度：

diff_s,o＝w₁F+w₂R

(45)將在當前時刻檢測出的一個目標與處于追蹤狀態的所有目標進行比較得到綜合相似度最高的，即diff_s,o值最大的目標作待定匹配目標；設最大值為diff，若diff值大于匹配閾值，則認為匹配成功，否則匹配失敗，為新出現的目標。

2.根據權利要求1所述的一種基于深度學習的監控視頻多目標追蹤方法，其特征在于，所述步驟(2)具體包括：

(21)將圖像輸入到訓練好的Faster R-CNN網絡模型中，通過網絡頂端分類層和窗口回歸層提取出多個目標信息，每個目標信息包括[分類編號，置信度，x，y，width，height]；

(22)過濾掉置信度低于置信度閾值的目標，剩下目標中舍棄目標信息中的[分類編號，置信度]，保留位置信息[x,y,width,height]；

(23)在感興趣區域池化層，依據RPN算法生成的區域的映射關系中提取出多個目標的空間特征。