[發明專利]基于卷積神經網絡的人群密度分布估計方法

有效

• 申請號: 201610796430.8
• 申請日: 2016-08-31
• 公開（公告）號: CN106326937B
• 公開（公告）日: 2019-08-09
• 發明（設計）人: 張晨民;趙慧琴;彭天強
• 申請（專利權）人: 鄭州金惠計算機系統工程有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/66;G06N3/08
• 代理公司: 鄭州大通專利商標代理有限公司 41111
• 代理人: 周艷巧

本發明涉及一種基于卷積神經網絡的人群密度分布熱度圖生成方法，將人群圖片集分為訓練樣本集及測試樣本集，利用全卷積神經網絡架構進行人群標簽圖像分割，利用卷積神經網絡進行人數回歸；并通過多尺度模板運算對密度圖進行糾正，根據修正后的密度圖和回歸人數，生成人群密度分布熱度圖，完成人群密度分布估計。本發明利用全卷積神經網絡強大的學習能力，提取圖像的深層特征，進行準確的人群分割，克服了傳統方法的密度計算對于全圖特征的低效性和盲目性；通過多尺度的模板糾正，一定程度上克服了人群遠近的透視效應；針對估計人數做映射，不同攝像頭的熱度圖具可橫向對比，適用于多種人群場景，能夠實時獲取人群密度分布熱度圖。

技術領域

本發明涉及人群密度分布估計技術領域，特別涉及一種基于卷積神經網絡的人群密度分布估計方法。

背景技術

公共場所的人群密度是涉及公共場所客流狀況及安全問題的一個關鍵指標，伴隨著智能監控的技術發展，從攝像頭視頻數據直接生成人群密度熱度圖的方法研究具有重要的現實意義和社會價值。傳統的人群密度分布方法主要包括兩類：一、基于視頻監控中運動信息的前景分割、特征提取及人數回歸的方法；二、基于單張圖片子區域提取特征值，對每個子區域從多種不同而互補的源進行人數估計，并求出圖片中總人數的方法。以上傳統方法在理想條件下可以取得較好的檢測效果，但是在出現下面復雜的場景時，往往會表現出很差的性能，方法一只能針對運動的人群做估計，如果人群靜止則會誤判為背景，人群估計數就會明顯少于實際人數。方法二也有明顯不足，如在人群密度較低時，多源特征的提取誤差變大，如常用的傅里葉分析方法往往失效。現有技術中基于灰度共生矩陣等紋理特征的人群密度估計方法，即在圖像的多個方向上計算訓練樣本的灰度共生矩陣，并計算其對應的度量指標例如對比度、均勻程度、熵等表征為特征向量，再運用主成分分析等方法，并通過線性回歸分析，建立線性回歸方程，用以對待測樣本進行估計，其容易對無人區域誤判，同時當人群密度較低時，無法得到有效的紋理信息，無法對低密度區域做出正確的估計。

發明內容

針對現有技術中的不足，本發明提供一種基于卷積神經網絡的人群密度分布估計方法，運用深度卷積神經網絡進行特征學習，能夠深刻揭示海量數據中承載的信息，達到更準確的數據效果，且對尺度、旋轉及角度轉換、光照變化均具有很好的魯棒性，適用于多種人群場景，能夠實時獲取人群密度分布熱度圖。

按照本發明所提供的設計方案，一種基于卷積神經網絡的人群密度分布估計方法，具體包含如下步驟：

步驟1.選取不同場景人群圖像數據集，對單個圖片中的人群位置進行像素級標注并統計人數，生成標簽信息，標簽信息包括：標簽圖像和人數標簽，其中，標簽圖像中人群部分像素標記為目標灰度值；將圖像數據集中原圖及其對應的標簽信息分成兩部分，一部分作為訓練樣本集，另一部分作為測試樣本集，每個樣本集中的樣本包括一張圖像、相應的標簽圖像以及人數標簽；

步驟2.構建人群分割全卷積神經網絡和人數回歸卷積神經網絡；并利用訓練樣本集，離線學習全卷積神經網絡參數及卷積神經網絡參數，得到相應的網絡模型；

步驟3.利用訓練好的網絡模型，得到輸入圖像的人數和人群標簽圖；

步驟4.根據選取圖片對應的攝像頭高度和傾斜角設計糾正模板，對人群標簽圖進行多尺度模板卷積和蒙版運算，生成密度圖像；

步驟5.根據密度圖像和人數，生成人群密度熱度圖，進行人群密度分布的估計。

上述的，步驟1中人群位置進行像素級標注并統計人數，具體包含：對單個圖片中有人的位置像素表示為1，沒有人群的位置像素表示為0，生成標簽信息，其中，標簽信息中的標簽圖像采用帶調色板的檢索圖片表示。

上述的，步驟2學習人群分割全卷積神經網絡參數具體包含如下內容：

步驟2.1.1、建立全卷積神經網絡結構，包含七組卷積和五次池化，利用訓練樣本集，學習人群分割估計函數F(x,Θ)，其中，x為訓練樣本集中輸入圖像，Θ為網絡學習參數；