[發明專利]一種結合上下文信息和多級特征的圖像中行人檢測方法

在審

• 申請號: 201710624030.3
• 申請日: 2017-07-27
• 公開（公告）號: CN107463892A
• 公開（公告）日: 2017-12-12
• 發明（設計）人: 李革;孔偉杰;李楠楠;臧祥浩;王文敏;王榮剛
• 申請（專利權）人: 北京大學深圳研究生院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06K9/46;G06K9/32
• 代理公司: 北京萬象新悅知識產權代理事務所(普通合伙)11360
• 代理人: 黃鳳茹

1.一種結合圖像上下文信息和圖像多級特征的行人檢測方法，對待檢測圖像，利用圖像分類深度模型進行特征提取，將深度模型中每一層卷積層產生的特征圖均存儲在內存中，在最后一層特征圖上執行區域提取網絡RPN，獲得多個可能包含行人的高質量感興趣區域RoI，即預選框；針對每一個RoI，首先對最后一層特征圖在相應位置提取上下文信息特征，然后進行圖像多級特征提取，提取該RoI在多個特征圖上相應位置的特征并組成多級特征；將上下文信息與多級特征按通道維度連接在一起，輸送到分類器中進行分類訓練和定位檢測；通過不斷訓練識別行人，由此達到對圖像中行人進行準確檢測的目的。

2.如權利要求1所述行人檢測方法，其特征是，所述圖像分類深度模型為由文獻(Simonyan,Karen,and Andrew Zisserman."Very deep convolutional networks for large-scale image recognition."arXiv preprint arXiv:1409.1556(2014))記載的具有13層卷積層的VGG16深度卷積網絡模型；最后一層特征圖為conv5_3。

3.如權利要求2所述行人檢測方法，其特征是，預選框提取具體是：利用一個尺寸為n×n的空間窗口，在最后一層特征圖conv5_3上以步長為1的速度沿著長和寬滑動，每滑到一個位置，同時預測產生k個不同尺度、不同長寬比的參考框anchor box；針對每個預選框，根據該預選框中包含目標的可能性預測一個分數；根據分數從高到低排序，保留前面多個最有可能包含行人的預選框RoI。

4.如權利要求2所述行人檢測方法，其特征是，對conv5_3在相應位置提取上下文信息特征，具體是：針對每一個預選框RoI，在最后一層特征圖conv5_3中，利用相當于l(l>1)倍該預選框RoI面積的RoI池化操作，提取得到該RoI在相應位置的上下文信息特征。

5.如權利要求2所述行人檢測方法，其特征是，圖像多級特征提取具體針對每一個預選框RoI，分別對VGG16產生的conv3_3、conv4_3、conv5_3三級特征圖，在相應位置利用RoI池化操作分別提取得到各級特征，并組成多級特征。

6.如權利要求2所述行人檢測方法，其特征是，特征連接是：對提取出的圖像上下文特征與圖像多級特征分別進行L₂正規化操作和縮放操作，再將特征沿著通道維度連接在一起，即將上下文特征與多級特征結合，使得獲得的特征包含更多信息；具體包括如下過程：

1)對3級特征和上下文特征按照式1進行L₂正規化：

設特征為d維，記為x＝(x₁,x₂,…,x_d)，利用式1來正規化該特征：

其中，為特征x的正規化值；

2)為輸入的每一個通道均引入一個縮放系數γ_i，被縮放的正規化值為

3)沿著通道維度，將L₂正規化操作及縮放操作后的上下文特征與多級特征連接在一起，組成最終的行人特征，供分類器進行分類；

4)在訓練階段，利用反向傳播算法和鏈式法則為每一個特征x和每一個縮放系數γ單獨學習，使得通過訓練每個特征都能具有相似的范數和尺度。

7.如權利要求2所述行人檢測方法，其特征是，檢測行人時，將組合好的特征送到分類器中進行分類和標注框回歸，檢測結果為該預選框被分類為行人類別的可能性分值及經過標注框回歸后的預選框坐標值，設置分值閾值，將大于閾值的預選框以及相應的坐標位置輸出，由此達到行人檢測的目的。

8.如權利要求7所述行人檢測方法，其特征是，將組合好的特征送到分類器中之前，對特征利用1×1的卷積層進行壓縮，將特征壓縮為512×7×7維。

9.如權利要求7所述行人檢測方法，其特征是，分值閾值設置為0.01。