[發明專利]一種基于深度學習的監控視頻多目標追蹤方法

有效

• 申請號: 201710504914.5
• 申請日: 2017-06-28
• 公開（公告）號: CN107330920B
• 公開（公告）日: 2020-01-03
• 發明（設計）人: 凌賀飛;李葉;李平
• 申請（專利權）人: 華中科技大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06N3/02;G06N3/08
• 代理公司: 42201 華中科技大學專利中心
• 代理人: 廖盈春;李智

本發明公開了一種基于深度學習的監控視頻多目標追蹤方法，本方法首先對視頻解碼提取出圖像序列，然后將圖像進行預處理輸入到訓練好的Faster R?CNN網絡模型中，Faster R?CNN網絡模型在網絡的對應層次中提取目標位置信息和目標空間特征；將目標位置信息和目標空間特征輸入到LSTM網絡中，預測目標在下一時刻的位置；將目標的空間特征通過融合的方法得到目標在下一時刻的融合特征，通過位置相似度和空間特征相似度兩方面添加不同的權重得到最終的相似度，然后判斷當前時刻檢測出的多個目標和上一時刻處于追蹤狀態的多個目標的對應關系。本發明方法進行目標追蹤可以減少多目標追蹤的漏檢率，提升多目標追蹤的準確度，并解決追蹤過程中短時間的目標遮擋問題。

技術領域

本發明屬于目標追蹤技術領域，更具體地，涉及一種基于深度學習的監控視頻多目標追蹤方法。

背景技術

平安城市的建設、高清攝像頭的普及產生了海量的監控視頻，僅僅依靠人力從海量的視頻圖像數據中采集線索是非常耗時和困難的，而且由于視覺疲勞等人為因素去辨別目標很難做到萬無一失。隨著視覺計算的發展，從機器學習到深度學習，計算機能夠更加智能的理解視頻中的信息，視頻智能分析系統應運而生。視頻智能分析系統通過對連續的圖像序列進行分析，提取出每一幀的運動目標，通過追蹤技術確定相鄰幀中的目標關系，確定一個目標的移動方向、速率，提取軌跡和步態等其他特征信息，從而給用戶提供視頻檢索、快速定位目標、查看目標在視頻中出現的片段、收集目標行為信息等功能。視頻智能分析系統中一個關鍵技術目標追蹤，即怎樣確定相鄰幀中目標的關系，獲得一個目標在整個視頻中完整的運動序列成為一個重要的研究方向。監控視頻多目標追蹤是視頻智能分析系統的前提基礎，對視頻信息進行更深層次的挖掘有重要的影響。

外觀是描述一個目標的重要特性，根據外觀模型可以將目標追蹤算法分為兩大類別。第一類是產生式方法。產生式方法首先使用定義好的算法建立目標的空間描述，然后對比多個候選區域找到最為匹配的區域。產生式方法由于忽略背景而強調目標外觀的描述，當目標遇到遮擋的情況時會出現漂移。另一類是判別式方法，依據使用檢測結果進行匹配的思想先使用目標檢測來提出前景目標，將跟蹤轉化為分類問題。判別式模型充分利用了前景與背景信息，可以將兩者更好的區分，因而具有較強的魯棒性。但在利用樣本進行在線學習與更新的過程中，也容易因樣本的標注錯誤影響分類器的性能，造成誤分類。

目前大多數基于深度學習的方法大都是使用卷積神經網絡建立外觀模型來實現目標追蹤，著眼于圖像在空間域的信息，未考慮到目標追蹤是對一系列連續、有著緊密時序關系的幀圖像的處理，并沒有挖掘到更多有效的時序信息。

遮擋問題是目標追蹤的一大問題。遮擋問題可以分為兩種情況，一種是目標被背景信息遮擋，開始遮擋時，目標還可以檢測出一部分，慢慢的無法被檢測出，直到目標重新出現后再次被檢測到。另一種情況是兩個或者多個目標重疊，當目標剛開始發生重疊時，還能夠被檢測為多個目標，但空間特征逐漸接近，當完全發生合并時，多個目標可能被檢測為一個目標，當目標分離后，必須能夠對目標進行追蹤而不發生紊亂。常見的解決這檔問題的方法是將目標分為多個空間區域，每個空間區域設置一個追蹤器，被遮擋時還有部門追蹤器能夠繼續跟蹤，因此會有多個追蹤器同時運行，導致追蹤的速度過慢。

發明內容

針對現有技術的以上缺陷或改進需求，本發明提供了一種基于深度學習的監控視頻多目標追蹤方法，其目的在于使用卷積神經網絡提取空間特征的基礎上，使用循環神經網絡學習目標的運動規律，對目標的特征進行融合，對目標的位置進行預測，結合時間和空間兩個方面計算目標的相似度進行目標匹配，實現目標追蹤的目的。此方法可以減少多目標追蹤的漏檢率，提升多目標追蹤的準確度，并解決追蹤過程中短時間的目標遮擋問題。

為實現上述目的，按照本發明的一個方面，提供了一種基于深度學習的監控視頻多目標追蹤方法，所述方法包括：

(1)對監控視頻按設定的間隔時間進行解碼獲得圖像；