[發(fā)明專利]一種多層卷積特征融合的行人檢測方法

在審

• 申請?zhí)枺?/td>: 202011409937.6
• 申請日: 2020-12-04
• 公開（公告）號: CN112507861A
• 公開（公告）日: 2021-03-16
• 發(fā)明（設計）人: 馬國軍;韓松;夏健;鄭威
• 申請（專利權）人: 江蘇科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京經(jīng)緯專利商標代理有限公司 32200
• 代理人: 徐澍

1.一種多層卷積特征融合的行人檢測方法，其特征在于，包括如下步驟：

步驟1：構建特征提取網(wǎng)絡Darknet的殘差網(wǎng)絡，將殘差網(wǎng)絡基本單元中BN層的參數(shù)合并到其卷積層；根據(jù)構建的殘差網(wǎng)絡構建特征提取網(wǎng)絡，記為特征提取網(wǎng)絡Darknet-61；

步驟2：構建特征金字塔網(wǎng)絡，將特征提取網(wǎng)絡Darknet-61經(jīng)過6次下采樣獲取圖像的5個卷積特征與YOLO輸出7*7、14*14、28*28、56*56尺度信息進行融合；使YOLOv3算法中的YOLO輸出層輸出5種尺度的特征圖，其中，5種尺度包括：7*7、14*14、28*28、56*56、112*112；

步驟3：根據(jù)特征提取網(wǎng)絡Darknet-61和YOLO輸出層優(yōu)化YOLOv3算法；

步驟4：利用k-means算法在優(yōu)化后的YOLOv3算法輸出的5種尺度的特征圖上得到數(shù)個目標候選框；

步驟5：在候選框中運用NMS方法，選出特征圖上數(shù)個目標候選框中具有最大IOU的目標候選框，根據(jù)選出的目標候選框進行行人目標預測。

2.如權利要求1所述的多層卷積特征融合的行人檢測方法，其特征在于，所述步驟1中將殘差網(wǎng)絡基本單元中BN層的參數(shù)合并到其卷積層，具體為：

其中，W_merged為合并后的卷積權重偏值；w為卷積權重；B_merged為合并后的卷積偏置；B為卷積偏置；μ為均值；σ²為方差；γ為縮放因子；β為偏移；ε為一個較小數(shù)。

3.如權利要求1或2所述的多層卷積特征融合的行人檢測方法，其特征在于，所述步驟2中特征提取網(wǎng)絡Darknet-61經(jīng)過六次下采樣獲取圖像的5個卷積特征，具體步驟為：

步驟A21：使用尺寸為448*448的圖像作為Darknet-61的網(wǎng)絡輸入，進行第一次下采樣；

步驟A22：進行第二次下采樣，對第二次下采樣結果使用2個步驟1中構建的殘差網(wǎng)絡進行特征提取，輸出第一卷積特征為112*112*128；

步驟A23：進行第三次下采樣，對第三次下采樣結果使用8個步驟1中構建的殘差網(wǎng)絡進行特征提取，輸出第二卷積特征為56*56*256；

步驟A24：進行第四次下采樣，對第四次下采樣結果使用通道為512的卷積進行特征提取，輸出第三卷積特征為28*28*512；

步驟A25：進行第五次下采樣，對第五次下采樣結果使用4個步驟1中構建的殘差網(wǎng)絡進行特征提取，輸出第四卷積特征為14*14*1024；

步驟A26：進行第六次下采樣，對第六次下采樣結果使用4個步驟1中構建的殘差網(wǎng)絡進行特征提取，輸出第五卷積特征為7*7*2028。

4.如權利要求3所述的多層卷積特征融合的行人檢測方法，其特征在于，所述步驟2的具體步驟如下：

步驟B21：特征提取網(wǎng)絡Darknet-61經(jīng)過六次下采樣獲取圖像的5個卷積特征，將第五卷積特征進過卷積獲得7*7尺度的特征圖；

構建特征金字塔網(wǎng)絡，將7*7尺度的特征圖通過特征金字塔網(wǎng)絡與第四卷積特征進行特征融合，獲得14*14尺度的特征圖；

步驟B22：將14*14尺度的特征圖通過特征金字塔網(wǎng)絡與第三卷積特征進行特征融合，獲得28*28尺度的特征圖；

步驟B23：將28*28尺度的特征圖通過特征金字塔網(wǎng)絡與第二卷積特征進行特征融合，獲得56*56尺度的特征圖；

步驟B24：將56*56尺度的特征圖通過特征金字塔網(wǎng)絡與第一卷積特征進行特征融合，獲得112*112尺度的特征圖。

5.如權利要求1所述的多層卷積特征融合的行人檢測方法，其特征在于，所述步驟4中獲取的目標候選框數(shù)量為3個。