[發明專利]行人檢測網絡及模型訓練方法、檢測方法、介質、設備

有效

• 申請號: 201910198487.1
• 申請日: 2019-03-15
• 公開（公告）號: CN110008853B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 胡永健;陳浩;劉琲貝
• 申請（專利權）人: 華南理工大學;中新國際聯合研究院
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/764;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 黃磊

1.一種行人檢測網絡模型訓練方法，其特征在于，包括步驟：

行人檢測網絡，以VGG16為基礎網絡，選用其中的fc6、fc7，再增加conv6_2、conv7_2和conv8_2三個特征層，總共包括五個特征層，將VGG16中的fc6的全連接操作改成3x3的卷積操作；

通過inception操作生成fc7，將VGG16中的conv4_3和fc7選為特征層；

通過inception操作增加conv6_2、conv7_2、conv8_2共3個特征層，得到總共5個特征層；

將所述行人檢測網絡設置為二分類檢測；

確定行人數據集并統計數據集中行人框的寬高比，得到行人框寬高比的期望值E；

對所述行人檢測網絡的5個特征層生成的特征圖使用不規則卷積核進行特征提取，從每張特征圖中分別得到一張表征類別置信度的置信度圖和一張表征檢測框坐標位置的坐標偏置圖；

所述特征層進行特征提取過程中，在conv4_3和fc7之間采用pad＝0，kernel_size＝2，stride＝2的最大池化操作進行下采樣，在fc7和conv6_2之間采用pad＝1，kernel_size＝3，stride＝2的卷積操作進行下采樣、conv6_2和conv7_2、conv7_2和conv8_2之間分別進行兩次pad＝0，kernel_size＝3，stride＝1的卷積操作，最后得到conv4_3、fc7、conv6_2、conv7_2、conv8_2所產生的特征圖的尺寸分別是38x38、19x19、10x10、6x6、2x2，對原圖進行劃分單元格，以每個單元格為中心選取默認框；

所述坐標偏置圖是通過4x4＝16個3x1的不規則卷積核生成，每一個卷積核的卷積操作得到的值分別代表候選目標框4個坐標參數x_min，x_max，y_min以及y_max中的一個，而每個網格又預測4個候選目標框；生成類別置信度圖是通過2x4＝8個3x1的不規則卷積核生成，每一個卷積核的卷積操作得到值分別代表著每個候選目標框屬于行人的置信度和屬于背景的置信度；

制定密集框生成策略，從行人檢測網絡的5個特征層生成的特征圖中選取密集的默認框，并通過調整默認框的寬高比為E使得其更符合行人的身體比例特征；

所述密集框生成策略統一在conv4_3、fc7、conv6_2、conv7_2、conv8_2所產生的特征圖中每個網格選取4個默認框，然后將其中3個設為行人寬高比的期望值E，然后再把這3個寬高比為E的默認框均勻排列在每個網格水平方向上1/4、1/2和3/4偏移的位置上，豎直方向統一設置為網格1/2偏移的位置；剩下的一個默認框寬高比設為1:1，然后放置在特征圖每個網格的中心位置形成密集框；

將訓練樣本圖片及其標簽文件生成訓練數據文件，通過預處理，統一調整樣本數據尺寸，然后送進調整默認框選取策略后的行人檢測網絡中進行訓練，待達到預設的迭代次數后得到訓練好的行人檢測網絡模型。

2.根據權利要求1所述的行人檢測網絡模型訓練方法，其特征在于，所述行人檢測網絡采用的inception結構，包括四個分支，第一個分支是一個1x1卷積操作，第二個分支是一個3x3卷積操作，第三個分支包括兩個操作，先進行1x1的卷積操作，然后進行3x3的最大池化操作，第四個分支5x5的卷積操作，其中5x5的卷積操作通過5x1和1x5的卷積操作級聯實現，最后將四個分支所得到的結果通過concatenate操作拼接得到最終的特征層。

3.根據權利要求1所述的行人檢測網絡模型訓練方法，其特征在于，設置置信度閾值τ和非極大抑制閾值λ，在每張特征圖中預測H·W·4個候選框中通過非極大值抑制去除重復檢測的目標框，然后去除類別置信度低于τ的目標框；其中，H和W分別是特征圖的高度和寬度；所保留的目標框及其對應的行人類別置信度即可作為行人檢測的輸出結果。