[發明專利]一種基于多尺度特征金字塔網絡及密集人群計數方法

在審

• 申請號: 202110293926.4
• 申請日: 2021-03-19
• 公開（公告）號: CN113011329A
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 雷濤;張棟;孫瑞;王興武;杜曉剛
• 申請（專利權）人: 陜西科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安眾和至成知識產權代理事務所(普通合伙) 61249
• 代理人: 張震國

1.一種基于多尺度特征金字塔網絡，其特征在于，包括特征提取模塊、特征金字塔融合模塊、特征注意力感知模塊和輸出模塊，所述特征提取模塊用于對輸入的人群圖像進行特征提取并輸出特征圖；所述特征金字塔融合模塊用于對所述特征提取模塊輸出的特征圖進行多尺度信息提取并輸出多尺度信息特征圖，所述特征金字塔融合模塊采用變化膨脹率的卷積核，對輸入的特征圖進行分組并行卷積，捕獲多尺度信息；所述特征注意力感知模塊用于對所述特征金字塔融合模塊輸出的多尺度信息特征圖通過動態聚焦圖像中關鍵高密度分布位置選擇不同尺度信息，學習空間與通道之間的視覺相關性，輸出空間通道相關特征圖；所述輸出模塊用于對所述特征注意力感知模塊輸出的空間通道相關特征圖采用1×1卷積進行降維，再使用雙線性插值方法輸出預測密度圖。

2.根據權利要求1所述的一種基于多尺度特征金字塔網絡，其特征在于，所述特征提取模塊為VGG16的前十層。

3.根據權利要求1所述的一種基于多尺度特征金字塔網絡，其特征在于，所述特征金字塔融合模塊包括四個卷積層，在每層中將特征圖按照比例進行分塊，再對每一塊進行分組膨脹卷積。

4.根據權利要求3所述的一種基于多尺度特征金字塔網絡，其特征在于，所述特征金字塔融合模塊的多尺度信息提取包括：

1)輸入特征圖的通道數量為M，在第一層將特征圖分為4塊，每塊特征圖通道的數量為C₁,C₂,C₃,C₄，其中C₁+C₂+C₃+C₄＝M，所有卷積核為帶有不同膨脹率r(r＝1,2,3,4)的3×3卷積核，分組數G以2ⁿ的形式增長；

2)將第一層輸出的特征圖作為第二層的輸入，第二層將特征圖分為3塊，卷積核尺寸為3×3，膨脹率r和分組數G從1開始逐漸增長；

3)將第二層輸出的特征圖作為第三層的輸入，第三層將特征圖分為2塊，執行分組數分別為1和2，膨脹率分別為1和2的卷積運算；

4)將第三層輸出的特征圖作為第四層的輸入，第四層采用分組數G為1的標準卷積。

5.根據權利要求4所述的一種基于多尺度特征金字塔網絡，其特征在于，所述特征金字塔融合模塊中輸入的特征圖x經過所述特征金字塔模塊輸出的多尺度信息特征圖y_i(x)定義如下：

其中，PGconv(x,N_i,G_i,r_i)為金字塔式分組膨脹卷積，L為層數，N_i為分塊數，r_i為膨脹率，G_i為每次卷積運算的分組數。

6.根據權利要求4所述的一種基于多尺度特征金字塔網絡，其特征在于，所述特征金字塔融合模塊中金字塔分組卷積計算量被定義為：

其中，N為按比例分的塊數，G_i,K_i,分別為第i次金字塔分組卷積的分組數、卷積核大小、輸入通道數和輸出通道數，1≤i≤N。

7.根據權利要求1所述的一種基于多尺度特征金字塔網絡，其特征在于，所述特征注意力感知模塊包括并行的位置注意力機制和通道注意力機制，利用位置注意力機制得到位置注意力特征圖，利用通道注意力機制得到通道注意力特征圖，然后將位置注意力特征圖和通道注意力特征圖進行融合進行輸出。