[發明專利]一種結合上下文信息和多級特征的圖像中行人檢測方法

在審

• 申請號: 201710624030.3
• 申請日: 2017-07-27
• 公開（公告）號: CN107463892A
• 公開（公告）日: 2017-12-12
• 發明（設計）人: 李革;孔偉杰;李楠楠;臧祥浩;王文敏;王榮剛
• 申請（專利權）人: 北京大學深圳研究生院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06K9/46;G06K9/32
• 代理公司: 北京萬象新悅知識產權代理事務所(普通合伙)11360
• 代理人: 黃鳳茹

技術領域

本發明涉及圖像分析技術領域，尤其涉及一種基于深度學習并結合圖像上下文信息和圖像多級特征的行人檢測方法。

背景技術

行人檢測技術是指讓計算機結合圖像處理與相關的機器學習算法，通過對圖像或視頻內容的分析，能夠對其中是否存在行人做出判斷，如果存在行人，還需要對圖像中的行人進行準確地定位標注。由于視頻有由一幀幀圖像組成，針對圖像的行人檢測技術的性能自然決定著針對視頻的行人檢測技術的性能，所以本發明主要對由視頻轉化后的靜態視頻圖像進行行人檢測。這類圖像往往利用車載攝像頭拍攝并取景于街道，其背景復雜，光照強弱不一，行人著裝、姿勢千差萬別，行人被遮擋情況也時有發生，使得行人檢測領域依舊存在許多挑戰，因在行人檢測領域，針對這類視頻圖像的分析具有非常重要的意義。

目前根據行人特征提取方式的不同，可以將現有的行人檢測模型分為兩類：

第一類是基于手工特征的行人檢測方法。相比于近幾年的深度學習方法，這種方法也稱為傳統方法，該方法針對圖像某一區域，首先使用預先設計好的手工特征提取算法來提取行人特征，然后將特征輸送到支持向量機SVM或者自適應增強AdaBoost分類器中進行不斷地訓練、分類以及定位，達到根據特征檢測行人的目的。常用的手工特征有Haar-like特征、HOG特征、DPM特征及ICF特征等。對于充滿挑戰的視頻圖像，手工特征都是基于底層特征，雖然在一定的假設條件下這些方法具有良好的性能表現，但是對于來自現實場景中的具有復雜背景的視頻圖像，這些底層特征并不能有效地將圖像中行人的特征提取并表征出來。

第二類是基于深度學習的行人檢測方法。隨著近幾年深度學習在圖像、語音、文本等領域取得了優秀的研究成果，涌現出許多基于深度學習的行人檢測方法。這些方法利用深度模型自動學習行人特征，通過大量的數據不斷訓練，可以實現從大量高維數據中自動學習到包含成千上萬參數的特征，然后對得到的特征進行分類及定位，同樣可以達到行人檢測的目的。目前，基于深度學習的行人檢測方法性能已遠超基于手工特征的行人檢測方法，且通過設計更好的深度檢測模型，有效地提高性能。

現有的目標檢測模型包括Faster R-CNN，但是，Faster R-CNN模型本身具有兩個缺點：一是Faster R-CNN中的特征分類器在分類時僅利用行人的特征，行人的周圍區域往往包含更多可以幫助分類器做判決的有用信息；二是Faster R-CNN無法很好地檢測圖像中小尺寸行人，導致Faster R-CNN在行人檢測問題上性能欠佳，誤檢率較高。

發明內容

為了克服上述現有技術的不足，本發明提供一種新的圖像中的行人檢測方法，基于深度學習并結合圖像上下文信息和圖像多級特征，實現圖像中的行人檢測。本發明方法可應用于智能監控系統或者無人駕駛中對攝像頭捕捉后的圖像或者視頻中行人的檢測，以此得到圖像或視頻中行人可能存在的位置，便于系統后續分析及操作。

本發明的原理是：本發明方法基于深度學習并結合圖像上下文信息和圖像多級特征，實現圖像中的行人檢測。本方法首先借鑒深度學習在目標檢測領域的研究，將一個目前優秀的目標檢測模型更快速的基于區域的卷積神經網絡Faster R-CNN(Ren,Shaoqing,et al."Faster R-CNN:Towards real-time object detection with region proposal networks."Advances in neural information processing systems.2015)應用到行人檢測領域中，達到較為良好的檢測效果；然后，結合行人周圍的圖像上下文信息幫助Faster R-CNN中的特征分類器“看”得更加廣泛，并作出更加正確的判斷；最后，我們結合了Faster R-CNN中深度特征提取模型VGG16(Simonyan,Karen,and Andrew Zisserman."Very deep convolutional networks for large-scale image recognition."arXiv preprint arXiv:1409.1556(2014))的多級特征，將高層粗糙的特征與低層精細的特征組合到一起，使得特征包含更加豐富的信息，幫助Faster R-CNN能很好地檢測小尺寸行人。