[發(fā)明專利]一種基于深度學習的監(jiān)控視頻多目標追蹤方法

有效

• 申請?zhí)枺?/td>: 201710504914.5
• 申請日: 2017-06-28
• 公開（公告）號: CN107330920B
• 公開（公告）日: 2020-01-03
• 發(fā)明（設計）人: 凌賀飛;李葉;李平
• 申請（專利權）人: 華中科技大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06N3/02;G06N3/08
• 代理公司: 42201 華中科技大學專利中心
• 代理人: 廖盈春;李智

1.一種基于深度學習的監(jiān)控視頻多目標追蹤方法，其特征在于，所述方法包括：

(1)對監(jiān)控視頻按設定的間隔時間進行解碼獲得圖像；

(2)將解碼獲得的圖像輸入到訓練好的Faster R-CNN目標檢測網(wǎng)絡模型中，得到多個目標的位置信息和空間特征；

(3)將目標在多個時刻的位置信息以及空間特征輸入到LSTM網(wǎng)絡模型中進行LSTM網(wǎng)絡模型線下訓練，利用訓練好的LSTM網(wǎng)絡模型預測目標在下一時刻的位置；

(4)將目標在多個時刻的空間特征融合得到融合特征，計算目標的融合特征和目標在當前時刻提取的空間特征的相似度，同時計算目標通過LSTM方法預測的位置矩形R_o和目標在當前時刻檢測出的位置矩形R_s之間的相似度，根據(jù)結(jié)合空間特征和位置信息的匹配判斷最新檢測出的目標與已經(jīng)追蹤到目標的歸屬關系；所述步驟(4)具體為：

(41)將同一個目標在相鄰連續(xù)時刻的空間特征融合得到目標的融合特征，計算方式為：

其中，t_n代表t_n-1的上一時刻，F(xiàn)_o,t代表目標在時刻t的融合特征，代表此目標在t₁時刻的空間特征，代表此目標在t₂時刻的空間特征；

(42)將目標的融合特征F_o,t和目標在當前時刻提取的空間特征F_s,t對比，使用余弦相似度計算其特征相似度F，計算方式如下：

(43)將目標通過LSTM方法預測的位置矩形R_o和目標在當前時刻檢測出的位置矩形R_s對比，使用矩形的面積交并比IOU計算位置相似度R，表示如下：

其中，S_inter＝(min(r₁.r,r₂.r)-max(r₁.l,r₂.l))*(min(r₁.b,r₂.b)-max(r₁.t,r₂.t))；r₁.t,r₁.b,r₁.l,r₁.r分別代表矩形R_s的上、下、左、右邊界值，r₂.t,r₂.b,r₂.l,r₂.r分別代表矩形R_o的上、下、左、右邊界值，S_inter為兩個矩形的重疊面積，S₁、S₂分別代表R_s和R_o兩個矩形的面積；

(44)將特征相似度和位置相似度結(jié)合起來，添加特征相似度權值w₁和位置相似度權值w₂進行平衡以獲取綜合相似度：

diff_s,o＝w₁F+w₂R

(45)將在當前時刻檢測出的一個目標與處于追蹤狀態(tài)的所有目標進行比較得到綜合相似度最高的，即diff_s,o值最大的目標作待定匹配目標；設最大值為diff，若diff值大于匹配閾值，則認為匹配成功，否則匹配失敗，為新出現(xiàn)的目標。

2.根據(jù)權利要求1所述的一種基于深度學習的監(jiān)控視頻多目標追蹤方法，其特征在于，所述步驟(2)具體包括：

(21)將圖像輸入到訓練好的Faster R-CNN網(wǎng)絡模型中，通過網(wǎng)絡頂端分類層和窗口回歸層提取出多個目標信息，每個目標信息包括[分類編號，置信度，x，y，width，height]；

(22)過濾掉置信度低于置信度閾值的目標，剩下目標中舍棄目標信息中的[分類編號，置信度]，保留位置信息[x,y,width,height]；

(23)在感興趣區(qū)域池化層，依據(jù)RPN算法生成的區(qū)域的映射關系中提取出多個目標的空間特征。