[發明專利]基于多階段混合注意網絡的人群計數方法

在審

• 申請號: 202110007377.X
• 申請日: 2021-01-05
• 公開（公告）號: CN112668532A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 桑軍;王富森;劉新悅;田紹禮;喬鑫;蔡斌;夏曉峰
• 申請（專利權）人: 重慶大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京同恒源知識產權代理有限公司 11275
• 代理人: 楊柳岸

1.基于多階段混合注意網絡的人群計數方法，其特征在于：該方法包括以下步驟：

S1：利用人群數據集的標注信息生成標簽密度圖，并對其中的訓練集進行數據增強；

S2：建模多階段混合注意網絡；

S3：初始化預訓練模型及其它網絡層參數；

S4：輸入訓練圖像，輸出預測密度圖，并計算預測密度圖和標簽密度圖的損失；

S5：選擇優化算法最小化損失，進行誤差反向傳播更新網絡參數；

S6：每訓練一次，就在測試集上通過評價指標驗證模型計數性能；

S7：迭代訓練至一定次數，并保存結果最優模型；

S8：將測試集圖片輸入S7保存的最優性能模型，輸出預測密度圖并進行積分獲得估計人數。

2.根據權利要求1所述的基于多階段混合注意網絡的人群計數方法，其特征在于：所述S1具體為：利用高斯核函數對人群數據集的位置級注釋進行高斯模糊，生成標簽密度圖作為監督數據，并對訓練集進行數據增強，以此來增加訓練樣本，提升模型的泛化能力；

S11：采用大小為4的固定高斯核生成標簽密度圖，由于網絡輸出分辨率為原圖的1/8，使用雙線性插值對標簽密度圖進行8倍下采樣；

S12：對訓練集人群圖像進行標準化和歸一化，三通道均值和方差分別為(0.4108,0.3706,0.3596)和(0.2785,0.2692,0.2715)；

S13：對訓練人群圖像進行隨機裁剪，由于Shanghai TechA和UCF-CC-50數據集尺寸大一不一致，隨機裁剪4個大小為128X128的圖像patch，對于Shanghai Tech B和UCF-QNRF尺寸一致的數據集隨即裁剪4個大小為500X500的圖像patch；

S14：對訓練數據進行概率值為0.5的隨機翻轉以增加樣本的多樣性；

S15：對訓練數據進行概率值為0.2的隨機噪聲以增強模型的魯棒性。

3.根據權利要求2所述的基于多階段混合注意網絡的人群計數方法，其特征在于：所述S2具體為：建模多階段混合注意網絡，包括特征提取模塊、多個混合注意模塊和密度圖回歸模塊，具體方式如下：

S21：由于在ImageNet上預訓練的VGG16-BN模型具有良好的遷移學習能力，因此采用VGG16-BN的前10層作為特征提取模塊；

S22：混合注意模塊由空間注意模塊和通道注意模塊并聯組成；

S23：建模空間注意模塊，具體方式為，步驟S21提取的512通道數特征X₀經過一個3X3通道數為256的卷積核，后接入批處理歸一化BN和激活函數ReLU得到特征X₁，將X₁通過一個1X1大小通道數為1的卷積核進行通道降維，再經過Sigmoid激活層得到一張與X₁相同寬、高的單通道權重圖weightmap1，最后將輸入特征X₀和weightmap1進行點乘操作得到空間注意模塊的輸出；

S24：建模通道注意模塊，包括兩個分支，分支一，將步驟S21輸出的512通道數特征X₀經過一個1X1大小通道數為256的卷積核進行通道降維，然后再通過一個全局平均池化層，得到維度為1X1X256的特征塊，后緊接維度為128的全連接層F1、批處理歸一化BN、激活函數ReLU、維度為256的全連接層F2，以此來充分學習跨通道間的相關性依賴，之后經過Sigmoid激活層得到一個1X1X256的空間權重圖weightmap2，分支二，將X₀經過一個3X3通道數為256的卷積核，后接入批處理歸一化BN和激活函數ReLU得到特征X₂，最后將分支二輸出X₂與weightmap2進行點成得到通道注意模塊的輸出；

S25：將步驟S23和步驟S24的輸出使用Concat操作在通道維度進行拼接，得到通道為512的特征；

S26：串聯多個步驟S22的混合注意模塊，通過實驗驗證，發現3個混合注意模塊的組合結果最優；

S27：建模密度圖回歸模塊，包括2個大小為3X3通道數分別的128，64的卷積層，以及一個大小為1X1通道數為1的卷積層，最后將步驟S26輸出的特征輸入到這三個卷積層中即得到最終的預測密度圖。