[發(fā)明專利]基于增強(qiáng)型多尺度感知網(wǎng)絡(luò)的人群計數(shù)方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010475260.X
• 申請日: 2020-05-29
• 公開（公告）號: CN111626237A
• 公開（公告）日: 2020-09-04
• 發(fā)明（設(shè)計）人: 劉才華;段儀濃;李夏華;徐濤
• 申請（專利權(quán)）人: 中國民航大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 天津市鼎和專利商標(biāo)代理有限公司 12101
• 代理人: 蒙建軍

1.一種基于增強(qiáng)型多尺度感知網(wǎng)絡(luò)的人群計數(shù)方法，其特征在于，包括以下步驟：

步驟一，對于輸入圖像，使用多列擴(kuò)張卷積構(gòu)成的生成網(wǎng)絡(luò)提取輸入圖像的多尺度特征，并生成密度圖像；

步驟二，將輸入圖像分別與中間生成圖像和標(biāo)簽圖像進(jìn)行拼接，使用判別網(wǎng)絡(luò)對二者的數(shù)據(jù)分布進(jìn)行真假判別；

步驟三，由增強(qiáng)模塊對生成網(wǎng)絡(luò)產(chǎn)生的密度圖像提取多尺度細(xì)節(jié)特征，并生成最終密度圖像；

步驟四，將生成網(wǎng)絡(luò)、判別網(wǎng)絡(luò)、增強(qiáng)模塊組合構(gòu)成增強(qiáng)型多尺度感知網(wǎng)絡(luò)模型，其中，嵌入式GAN模塊和增強(qiáng)器組合旨在增強(qiáng)像素的局部相關(guān)性以及縮放比例變化的魯棒性，并對增強(qiáng)型多尺度感知網(wǎng)絡(luò)模型的參數(shù)進(jìn)行優(yōu)化；

步驟五，對所生成密度圖像的像素值進(jìn)行累加，得到人群數(shù)量。

2.根據(jù)權(quán)利要求1所述的基于增強(qiáng)型多尺度感知網(wǎng)絡(luò)的人群計數(shù)方法，其特征在于：

在步驟一中，使用VGG-16作為生成網(wǎng)絡(luò)的主干，使用預(yù)訓(xùn)練的VGG-16的前十個卷積層，保留了原始VGG-16網(wǎng)絡(luò)的五個池化層中的三個，將六個3×3的擴(kuò)張卷積層與ReLU激活層一起用作生成網(wǎng)絡(luò)的back-end。

3.根據(jù)權(quán)利要求1所述的基于增強(qiáng)型多尺度感知網(wǎng)絡(luò)的人群計數(shù)方法，其特征在于：

在步驟二中，判別網(wǎng)絡(luò)是一個具有五個卷積層的全卷積網(wǎng)絡(luò)，其中，前四個卷積層的每一個卷積層都均實現(xiàn)了批量歸一化和LeakyReLU激活函數(shù)。

4.根據(jù)權(quán)利要求1所述的基于增強(qiáng)型多尺度感知網(wǎng)絡(luò)的人群計數(shù)方法，其特征在于：

在步驟三中，增強(qiáng)模塊是一種基于空間金字塔池的結(jié)構(gòu)，融合不同比例和不同子區(qū)域之間的特征細(xì)節(jié)。

5.根據(jù)權(quán)利要求1所述的基于增強(qiáng)型多尺度感知網(wǎng)絡(luò)的人群計數(shù)方法，其特征在于：

在步驟四中，所述增強(qiáng)型多尺度感知網(wǎng)絡(luò)模型包括：L₁損失函數(shù)，用于計算中間生成圖像與標(biāo)簽圖像對應(yīng)像素間的距離絕對值；對抗性損失函數(shù)，用于計算中間生成圖像與標(biāo)簽圖像整體數(shù)據(jù)分布間的差異；L₂損失函數(shù)，用于計算生成圖像與標(biāo)簽圖像對應(yīng)像素間的距離平方和；采用聯(lián)合訓(xùn)練的方式對上述三項損失函數(shù)進(jìn)行優(yōu)化。

6.根據(jù)權(quán)利要求1所述的基于增強(qiáng)型多尺度感知網(wǎng)絡(luò)的人群計數(shù)方法，其特征在于：

在步驟五中，對增強(qiáng)型多尺度感知網(wǎng)絡(luò)模型的參數(shù)優(yōu)化的具體方式為：使用隨機(jī)梯度下降的方式優(yōu)化損失函數(shù)并采用后向傳播的方式逐層進(jìn)行求導(dǎo)。

7.一種基于增強(qiáng)型多尺度感知網(wǎng)絡(luò)的人群計數(shù)系統(tǒng)，其特征在于，包括：

第一密度圖像生成模塊：對于輸入圖像，使用多列擴(kuò)張卷積構(gòu)成的生成網(wǎng)絡(luò)提取輸入圖像的多尺度特征，并生成密度圖像；

判別模塊，將輸入圖像分別與中間生成圖像和標(biāo)簽圖像進(jìn)行拼接，使用判別網(wǎng)絡(luò)對二者的數(shù)據(jù)分布進(jìn)行真假判別；

第二密度圖像生成模塊：由增強(qiáng)模塊對生成網(wǎng)絡(luò)產(chǎn)生的密度圖像提取多尺度細(xì)節(jié)特征，并生成最終密度圖像；

組合優(yōu)化模塊：將生成網(wǎng)絡(luò)、判別網(wǎng)絡(luò)、增強(qiáng)模塊組合構(gòu)成增強(qiáng)型多尺度感知網(wǎng)絡(luò)模型，其中，嵌入式GAN模塊和增強(qiáng)器組合旨在增強(qiáng)像素的局部相關(guān)性以及縮放比例變化的魯棒性，并對增強(qiáng)型多尺度感知網(wǎng)絡(luò)模型的參數(shù)進(jìn)行優(yōu)化；

累加模塊：對所生成密度圖像的像素值進(jìn)行累加，得到人群數(shù)量。

8.一種實現(xiàn)權(quán)利要求1-6任一項所述基于增強(qiáng)型多尺度感知網(wǎng)絡(luò)的人群計數(shù)方法的信息數(shù)據(jù)處理終端。

9.一種計算機(jī)可讀存儲介質(zhì)，包括指令，當(dāng)其在計算機(jī)上運(yùn)行時，使得計算機(jī)執(zhí)行如權(quán)利要求1-6任一項所述的基于增強(qiáng)型多尺度感知網(wǎng)絡(luò)的人群計數(shù)方法。