[發明專利]一種基于深度殘差網絡的人群計數方法

有效

• 申請號: 201611042789.2
• 申請日: 2016-11-21
• 公開（公告）號: CN106778502B
• 公開（公告）日: 2020-09-22
• 發明（設計）人: 曾令科;徐向民;邢曉芬;青春美;張通
• 申請（專利權）人: 華南理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍

1.一種基于深度殘差網絡的人群計數方法，其特征在于，包括如下步驟：

模型定義階段，基于靜態人群圖像訓練集訓練深度殘差網絡，設第i張輸入圖像為X_i，網絡參數為W，經過訓練后主分支得到人群密度圖為f(X_i，W)，輔助分支得到人群計數為g(X_i，W)，人群密度圖為f(X_i，W)和人群計數g(X_i，W)對應地與真實密度圖D_i及真實人數Y_i計算歐式距離，并將歐式距離作為主分支與輔助分支使用的損失函數，使得L(f，D_i)與L(g，Y_i)達到最小化；所述深度殘差網絡結構包括一個5x5核卷積層與10個殘差單元，主分支經過1x1的核卷積獲得輸入圖像對應的人群密度圖，輔助分支經過1x1的核卷積獲得輸入圖像對應的人數，最后通過對人群密度圖積分獲得輸入圖像的人數估計值，其中每個殘差網絡單元結構為：1x1的卷積核后接入3x3的卷積核，再接入1x1的卷積核，每個卷積核后都加入批歸一化與線性整流操作，同時上一殘差網絡單元的輸出經過1x1的核卷積也作為下一殘差網絡單元的輸入；其中每個殘差網絡單元包括1x1的卷積核后緊接3x3的卷積核，最后經過1x1的核卷積映射后與上一殘差單元輸出的特征圖經過1x1的核卷積映射后作差運算；經過10個殘差網絡單元后，主分支經過1x1的核卷積獲得密度圖D_i，輔助分支經過全連接層獲得人群數量估計值Y；

訓練階段，主分支與輔助分支使用的損失函數均為網絡輸出與目標輸出的歐式距離，即

其中N為訓練集圖像總數，按高斯分布每層初始化網絡參數W₀后，先根據主分支的損失函數L(f，D_i)對網絡參數進行優化迭代，當L(f，D_i)收斂后，根據輔助分支的損失函數L(g，Y_i)對網絡參數進行優化迭代，當L(g，Y_i)收斂后再返回優化主分支，依次交替優化，直至兩個分支的損失函數都收斂到設定閾值以下。

2.根據權利要求1所述的基于深度殘差網絡的人群計數方法，其特征在于，使用10 個連續的殘差單元構造人群圖像特征提取網絡，在殘差短路的作用下等效與多個組合式淺層網絡的特征融合，實現多尺度特征的提取。

3.根據權利要求1所述的基于深度殘差網絡的人群計數方法，其特征在于，訓練集輸入圖像X_i對應的真實密度圖D_i通過以圖像中各人頭坐標點為中心的二維標準正態分布疊加獲得，即

其中G(X_i)為訓練集第i張輸入圖像對應的灰度矩陣，D_i為第i張輸入圖像對應的真實密度圖，M為第i張輸入圖像中的總人數，‖Z‖為單點二維標準正態分布在圖像中的加權值，經過歸一化操作保證密度圖加權值即為人群總數。

4.根據權利要求1所述的基于深度殘差網絡的人群計數方法，其特征在于，訓練網絡參數W時，使用隨機梯度下降法交替優化主分支與輔助分支，實現局部與全局信息的平衡。