[發明專利]一種復雜場景下融合運動信息的行人檢測方法

有效

• 申請號: 202011290529.3
• 申請日: 2020-11-18
• 公開（公告）號: CN112347967B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 侯舒娟;韓羽菲;李海;張欽;宋政育;武毅
• 申請（專利權）人: 北京理工大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/52;G06V10/25;G06V10/44;G06V10/80;G06V10/82;G06N3/0464;G06N3/047;G06N3/08
• 代理公司: 北京理工大學專利中心 11120
• 代理人: 李微微

本發明公開了一種融合運動信息的復雜場景下的行人檢測方法，由運動目標識別網絡和行人檢測網絡兩個支路構成，將視頻輸入網絡，分別獲得運動目標框和行人檢測提議候選框，將兩種候選框進行融合，然后根據框的面積大小分成兩組，送入兩個子網絡，分別進行分類和回歸，最終合并輸出結果；本發明針對分辨率較低、行人在畫面中尺寸較小的視頻，相較于其他算法可以達到更高的檢測率；本發明的行人檢測網絡是利用運動信息減少漏檢，對動態與靜態行人目標的檢測效果都很好。

技術領域

本發明屬于目標檢測技術領域，具體涉及一種復雜場景下融合運動信息的行人檢測方法。

背景技術

行人是視頻監控任務中的重要目標，行人檢測也是計算機視覺研究的基礎任務和關鍵技術之一，這種技術用于判斷圖像或者視頻序列中是否存在行人并給予精確定位，在車輛輔助駕駛系統、視頻監控、機器人開發等計算機領域被廣泛應用。

受存儲資源、拍攝距離等眾多因素的影響，一般實際中監控視頻往往存在視頻畫質較差、行人目標在畫面中所占比例較小、行人目標存在遮擋等問題，導致復雜場景下的行人檢測技術在實際應用中仍然存在嚴重的漏檢、誤檢等問題。隨著機器學習技術和計算機視覺的發展，基于深度學習的目標檢測技術被廣泛的應用到行人檢測任務中，取得了不凡的成績，為復雜場景下的行人檢測算法提供了思路。

2012年Lijun?Guo等人在《Pedestrian?detection?Method?of?IntegratedMotion?Information?and?APPearance?Features》一文中提出一種結合運動信息與表觀特征的行人檢測方法，用于復雜場景下的行人檢測任務，將運動信息融入到基于圖像序列的對象分割算法中，通過獲取更準確的分割結果來提高對候選檢測窗口的檢測準確率，然而該算法的精度要遠低于R-CNN系列的行人檢測網絡，且計算量較大，在復雜場景下效果不理想。

2013年張芝英在《基于目標運動信息和HOG特征的行人檢測的研究與實現》中設計了一種融合了目標運動信息的行人檢測分類器，構成了一種HOG與SVM分類器進行行人檢測的組合，然而該算法的檢測模塊精度不及R-CNN系列的行人檢測網絡，且運算速度較慢，用于運動信息提取的幀間差分法也還有一定的提升空間。

2016年Jianan?Li等人在《Scale-aware?Fast?R-CNN?for?PedestrianDetection》一文中針對監控視頻中的小尺寸行人目標提出了一種將大尺寸子網絡和小尺寸子網絡集成到同一框架中的網絡，但是該網絡是一種基于圖片的行人檢測網絡，而且采用的Fast?R-CNN網絡精度較低，針對低分辨率的圖片無法達到比較好的檢測效果。

2016年Liliang?Zhang等人在《Is?Faster?R-CNN?Doing?Well?for?PedesrtianDetection》一文中公開了一種讓通用目標檢測Faster?R-CNN網絡更適用于行人檢測任務的改進網絡，在分類模塊對小尺寸行人目標有著更高的區分性，但是該網絡仍然是一種基于圖片的檢測網絡，在圖片畫質較低的情況下效果并不理想。

2018年Aixin?Guo在《Multi-scale?Pedestrain?Detection?based?on?DeepConvolutional?Feature?Fusion》中提出了一種基于深度卷積特征融合的多尺度行人檢測方案，針對中小尺度行人特征不足的情況，將底層特征和高級語義特征相結合，并引入焦點損失函數來進行難樣本挖掘來提高算法精度，該方案雖然在公開數據集中檢測率得到了一定的提升，但是只適用于圖片畫質稍好的情況。

2019年夏金銘等人在《一種基于Faster?R-CNN的行人檢測算法》中引入了一種難樣本挖掘策略，將復雜環境下的樣本挑出并對權重進行調整，使訓練更有側重點，以提升模型的泛化性能，同樣這也是一種基于圖片的行人檢測方案，該方案的查全率略有提升，但是仍然只適用于清晰圖片的多尺度行人檢測任務。