[發明專利]一種基于深度學習的人群計數模型及其實現方法

有效

• 申請號: 201910772643.0
• 申請日: 2019-08-21
• 公開（公告）號: CN110705344B
• 公開（公告）日: 2023-03-28
• 發明（設計）人: 林倞;甄家杰;劉凌波;李冠彬
• 申請（專利權）人: 中山大學
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V20/40;G06V10/774;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 廣州容大知識產權代理事務所(普通合伙) 44326
• 代理人: 劉新年

1.一種基于深度學習的人群計數模型，包括：

預處理單元，用于獲取人群圖像，對獲取的人群圖像進行預處理后輸出至特征提取單元，并利用標注信息產生對應的人群密度圖；

特征提取單元，用于將輸入的人群圖像縮放成多個尺度版本，通過多個子網絡提取各個尺度的特征，并利用特征增強模塊增強各個尺度的特征；

估計人群密度圖生成單元，用于將多個子網絡產生的特征結合，生成估計的人群密度圖；

更新單元，用于根據所述估計人群密度圖生成單元生成的估計的人群密度圖與所述預處理單元生成的真實人群密度圖計算損失，更新模型參數；

迭代訓練單元，用于多次迭代式地對不同人群圖像進行所述預處理單元、特征提取單元、估計人群密度圖生成單元以及更新單元的訓練過程，直到滿足設定的停止條件時停止訓練；

所述預處理單元進一步包括：

圖像裁剪模塊，用于對獲取的人群圖像隨機裁剪成固定大小的圖像；

人群密度圖生成模塊，用于利用標注的人頭位置信息通過高斯核生成對應的人群密度圖，將其作為標簽圖像；

所述人群密度圖生成模塊通過如下公式生成人群密度圖：

其中，M代表所述人群圖像中的人數，x代表圖像中每個像素的位置，x_i代表第i個人的標注位置，δ(x-x_i)表示激活函數，表示標準差為σ_i的高斯核，β為一常數，/代表第i個人的標注位置與其周邊的m個人的標注位置的平均距離，/

所述特征提取單元進一步包括：

子網絡構建模塊，用于構建多個并行的子網絡，對輸入的人群圖像提取多個尺度的圖像的特征；

特征增強模塊，用于在子網絡各個下采樣層前結合不同尺度的特征，增強各個尺度的特征；

所述并行的子網絡使用相同的網絡結構并共享參數，由預訓練的VGG-16模型的前十個卷積層組成，前十個卷積層分成四組，每一組卷積層之間都有一個下采樣層，用于擴大感受野；

所述特征增強模塊設置在每一組卷積層后下采樣層前，基于條件隨機場對各個子網絡中相同大小的特征進行互補增強。

2.如權利要求1所述的一種基于深度學習的人群計數模型，其特征在于：所述特征增強模塊基于條件隨機場增強各個尺度的特征具體為根據如下公式：

/

其中，f_i為第i個子網絡的原特征，為迭代增強過程中的中間特征，/為第i個子網絡增強后的特征，/為可學習的參數。

3.如權利要求1所述的一種基于深度學習的人群計數模型，其特征在于：所述估計人群密度圖生成單元采用自頂向下的方式所述特征提取單元產生的多個特征組，將不同感受野、不同尺度的特征結合生成估計的人群密度圖。

4.如權利要求1所述的一種基于深度學習的人群計數模型，其特征在于：所述更新單元利用所述估計人群密度圖生成單元中生成的估計的人群密度圖與預處理單元產生的真實人群密度圖基于擴張卷積算法的多尺度結構相似性計算損失，并采用自適應矩估計優化算法更新模型參數。

5.一種權利要求1至4任一所述的基于深度學習的人群計數模型的實現方法，包括如下步驟：

步驟S1，獲取人群圖像，對獲取的人群圖像進行預處理并利用標注信息產生對應的人群密度圖；

步驟S2，將輸入的人群圖像縮放成多個尺度版本，通過多個子網絡提取各個尺度的特征，并利用特征增強模塊增強各個尺度的特征；

步驟S3，將多個子網絡產生的特征結合，生成估計的人群密度圖；

步驟S4，根據估計的人群密度圖與真實的人群密度圖計算損失，更新模型參數；

步驟S5，利用不同人群圖像多次迭代式地進行步驟S1-S4的訓練過程，直到符合停止的條件。