[發(fā)明專利]基于多尺度自適應(yīng)上下文網(wǎng)絡(luò)的人群計數(shù)方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202011552667.4
• 申請日: 2020-12-24
• 公開（公告）號: CN112580545B
• 公開（公告）日: 2022-07-29
• 發(fā)明（設(shè)計）人: 呂蕾;謝錦陽;顧玲玉
• 申請（專利權(quán)）人: 山東師范大學(xué)
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V10/82;G06V10/80;G06K9/62;G06N3/04
• 代理公司: 濟南圣達知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 朱忠范

1.一種基于多尺度自適應(yīng)上下文網(wǎng)絡(luò)的人群計數(shù)方法，其特征在于，包括如下步驟：

采用經(jīng)過預(yù)訓(xùn)練的VGG-16網(wǎng)絡(luò)對人群圖像進行初級特征信息提取，獲得初級特征圖像；

采用多個并行排列的自適應(yīng)卷積網(wǎng)絡(luò)對初級特征圖像進行多尺度上下文信息提取；其中，每個自適應(yīng)卷積網(wǎng)絡(luò)用于提取特定尺度上的上下文信息；

所述每個自適應(yīng)卷積網(wǎng)絡(luò)包括一個降維分支和一個池化分支，降維分支對初級特征圖像進行降維；池化分支對初級特征圖像進行自適應(yīng)池化；根據(jù)對應(yīng)尺度上自適應(yīng)卷積網(wǎng)絡(luò)內(nèi)卷積核的內(nèi)核大小，對初級特征圖像進行自適應(yīng)池化，進行卷積降維后，對降維分支和池化分支進行深度分離卷積操作，得到該尺度上的上下文信息；

根據(jù)對應(yīng)尺度上的上下文信息獲取人群圖像最終的上下文信息；在提取到的每個尺度上的上下文信息后，將該尺度上的上下文信息與提取到的初級特征信息進行做差，得到該尺度上的對比特征；

將對比特征作進行卷積，得到該尺度上的權(quán)重圖；

使用多個尺度上的權(quán)重計算人群圖像最終的上下文信息；

將最終的上下文信息進行解碼回歸得到最終的密度圖；

對最終的密度圖進行積分計算，得到人群圖像上的人群總數(shù)。

2.根據(jù)權(quán)利要求1所述的基于多尺度自適應(yīng)上下文網(wǎng)絡(luò)的人群計數(shù)方法，其特征在于，由多個空洞卷積組成的解碼器對最終上下文信息進行解碼回歸產(chǎn)生最終的密度圖。

3.根據(jù)權(quán)利要求1所述的基于多尺度自適應(yīng)上下文網(wǎng)絡(luò)的人群計數(shù)方法，其特征在于，對最終得到的密度圖進行積分，得到最終人群圖像上的人群總數(shù)包括：

其中，C表示人群總數(shù)，H表示密度圖的高度，W表示密度圖的寬度，p_xy表示整幅密度圖在坐標(x,y)處的像素值。

4.根據(jù)權(quán)利要求1所述的基于多尺度自適應(yīng)上下文網(wǎng)絡(luò)的人群計數(shù)方法，其特征在于，計算人群圖像最終的上下文信息f_F為：

其中，f_v表示初級特征信息，w_i表示尺度i上的權(quán)重，s表示尺度的個數(shù)，f_i表示尺度i上的上下文信息，[·|·]表示信道級連接操作，Θ表示權(quán)重和上下文信息之間的元素乘積操作。

5.一種基于多尺度自適應(yīng)上下文網(wǎng)絡(luò)的人群計數(shù)系統(tǒng)，其特征在于，包括：

第一提取模塊，用于采用經(jīng)過預(yù)訓(xùn)練的VGG-16網(wǎng)絡(luò)對人群圖像進行初級特征信息提取，獲得初級特征圖像；

第二提取模塊，用于采用多個并行排列的自適應(yīng)卷積網(wǎng)絡(luò)對初級特征圖像進行多尺度上下文信息提取；其中，每個自適應(yīng)卷積網(wǎng)絡(luò)用于提取特定尺度上的上下文信息；所述每個自適應(yīng)卷積網(wǎng)絡(luò)包括一個降維分支和一個池化分支，降維分支對初級特征圖像進行降維；池化分支對初級特征圖像進行自適應(yīng)池化；根據(jù)對應(yīng)尺度上自適應(yīng)卷積網(wǎng)絡(luò)內(nèi)卷積核的內(nèi)核大小，對初級特征圖像進行自適應(yīng)池化，進行卷積降維后，對降維分支和池化分支進行深度分離卷積操作，得到該尺度上的上下文信息；

感知模塊，用于根據(jù)對應(yīng)尺度上的上下文信息獲取人群圖像最終的上下文信息；在提取到的每個尺度上的上下文信息后，將該尺度上的上下文信息與提取到的初級特征信息進行做差，得到該尺度上的對比特征；將對比特征作進行卷積，得到該尺度上的權(quán)重圖；使用多個尺度上的權(quán)重計算人群圖像最終的上下文信息；

解碼模塊，用于將最終的上下文信息進行解碼回歸得到最終的密度圖；

計算模塊，用于對最終的密度圖進行積分計算，得到人群圖像上的人群總數(shù)。

6.一種計算機設(shè)備，包括存儲器和處理器，所述處理器和所述存儲器相互通信，所述存儲器存儲有可被所述處理器執(zhí)行的程序指令，其特征在于：所述處理器調(diào)用所述程序指令執(zhí)行如權(quán)利要求1-4任一項所述的方法。

7.一種計算機可讀存儲介質(zhì)，其存儲有計算機程序，其特征在于：所述計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-4任一項所述的方法。