[發明專利]基于深度學習的多目標行人檢測與跟蹤方法

在審

• 申請號: 201710709817.X
• 申請日: 2017-08-18
• 公開（公告）號: CN107563313A
• 公開（公告）日: 2018-01-09
• 發明（設計）人: 周忠;吳威;孫晨新;姜那;李鶴兮
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/66;G06N3/04
• 代理公司: 北京科迪生專利代理有限責任公司11251
• 代理人: 楊學明,顧煒

本發明公開了一種基于深度學習的多目標行人檢測與跟蹤方法，包含如下步驟：步驟一：針對輸入的視頻進行多目標行人檢測和關節點提取，并保存獲得的位置信息及關節點信息作為下一階段的輸入；步驟二：間隔一定幀數選擇一個關鍵幀，并針對關鍵幀內的行人進行表觀特征提取，即根據步驟一所得的位置信息與關節點信息，分別提取上半身姿態特征和顏色直方圖特征，用于關鍵幀之間的行人關聯；步驟三：針對關鍵幀內的行人進行連續跟蹤，過程中使用本發明所提出的閾值慢起步策略、分塊匹配率模型檢測算法、保存歷史狀態投票算法與遮擋檢測方法來提高跟蹤效果，跟蹤結束后返回步驟一，重新檢測關鍵幀來保證方法穩定性。

技術領域

本發明屬于計算機視覺技術領域，具體涉及一種基于深度學習的多目標行人檢測與跟蹤方法。

背景技術

隨著計算機計算能力的發展，計算機視覺技術能夠逐漸應用于實際生活中，方便人們的生活。在視頻監控領域中，監控視頻中很重要的一個任務就是發現人并解釋其行為。我們需要知道指定目標是否出現在監控系統中以及出現在了什么地方。在視頻序列中識別出行人，屬于行人檢測問題。考慮到時空關聯性，在監控視頻中識別并跟蹤出現在不同監控中某個目標的問題，被稱作目標跟蹤。行人檢測技術是行人跟蹤的基礎。監控視頻中的視頻幀有分辨率低下、光照變化明顯、遮擋的不足等問題，如何減輕和減少這些不足和因素帶來的影響是解決行人跟蹤問題的關鍵。

目前主流的基于深度神經網絡的行人檢測中，一類是基于Region Proposal的目標檢測方法，如SPP-Net、Faster-RCNN等，這一類檢測的精度較高。另外，還有基于回歸預測的檢測方法，如SSD、YOLO等，這類檢測的精度雖然不如前一類的精度，但是檢測的速度往往更快。在對速度要求不太高的視頻分析中，可以使用基于Region Proposal的目標檢測。

目前行人跟蹤主要基于兩種思路：一方面，不依賴于任何先驗知識，直接從圖像的序列中檢測到運動行人，進行行人識別，最終跟蹤到運動行人；另一方面，依賴于運動行人的先驗知識，先為運動行人建模，再在圖像序列中實時找到相匹配的運動行人。

對不依賴先驗知識的目標跟蹤來講，運動檢測是實現跟蹤的第一步。運動檢測即在序列圖像中利用塊匹配、光流估計等方法將變化區域從背景圖像中提取出來。對于依賴于運動目標先驗知識的跟蹤，可以分為基于主動輪廓的跟蹤算法，基于特征的跟蹤，基于區域的跟蹤，基于模型的跟蹤。

同時，跟蹤行人距離相機的距離不同導致其在相機內成像大小往往會發生變化，而目前現有的大多數的方法很少考慮到行人成像變化的問題，如Struck算法，CT算法，KCF算法，ASLA算法等，這將會導致跟蹤框精度下降，影響行人跟蹤效果。一些由于考慮縮放問題而帶來的精度問題都是通過行人檢測的方式獲取行人較為準確的大小，再做關聯匹配的，然而這類方法通常需要給定行人類型，并且在行人受到遮擋時經常會檢測不到或者檢測錯誤。

在實際應用中，由于遮擋問題大多與環境語義相關，所以目前的行人跟蹤算法大多數對障礙物遮擋不作處理，完全遮擋后即丟失行人并且無法重識別，但現實中的監控視頻很少有無遮擋的廣闊視野，跟丟情況頻繁發生。所以針對現有的跟蹤算法，本發明在檢測到行人以后提出了新的遮擋檢測策略和跟丟重識別策略，采用動態的更新方式。最后對于跟蹤丟失的情況會擴大搜索范圍并根據單相機內的跟蹤結果對丟失的情況進行軌跡恢復。

本發明所提出的一種基于深度學習的多目標行人檢測與跟蹤方法，在行人檢測上使用最近在準確度上一直領先的深度學習方法，每間隔一定幀數進行一次檢測，加快了整個方法中跟蹤的效率。在關鍵幀間行人匹配上，綜合利用了多種行人特征，不僅能夠準確的檢測、識別出行人，而且在視角變化、遮擋等多種干擾下仍能穩定的跟蹤行人，可以應用于視頻監控、異常行為分析等現實場景。

發明內容

本發明的目的之一在于提出一種基于深度學習的多目標行人檢測與跟蹤方法，以提高在視頻監控中，在視角、姿態、遮擋等多種干擾因素下，如何較為快速準確的檢測到行人、識別行人并對行人進行跟蹤。