[發明專利]一種基于金字塔特征融合的人群密度估計方法

有效

• 申請號: 202210676833.4
• 申請日: 2022-06-16
• 公開（公告）號: CN114758306B
• 公開（公告）日: 2022-08-23
• 發明（設計）人: 劉寒松;王國強;王永;翟貴乾;劉瑞;焦安健
• 申請（專利權）人: 松立控股集團股份有限公司
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V20/70;G06V10/80;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 青島高曉專利事務所(普通合伙) 37104
• 代理人: 黃曉敏

本發明屬于人群密度估計技術領域，涉及一種基于金字塔特征融合的人群密度估計方法，使用VGG?16的前十三層作為主干網絡，進行初步的特征提取，然后針對多尺度目標感知難得問題，設計了金字塔特征融合模塊，采用不同空洞率的空洞卷積提取多尺度特征，并將多尺度特征進行自下而上和自上而下兩階段的特征融合，增強網絡的尺度感知能力；同時，針對復雜背景被誤判為目標的問題，設計通道注意力分支，提取全局注意力信息，監督多尺度特征的提取，最后使用卷積和激活函數的組合將多尺度特征回歸為最終密度圖，不僅可以用來進行無約束場景的人群密度估計，還可以用于原木、細胞等各項密集目標的密度估計。

技術領域

本發明屬于人群密度估計技術領域，涉及一種基于金字塔特征融合的人群密度估計方法。

背景技術

隨著世界醫療技術日益進步，各國人口普遍呈增長趨勢，同時，由于城市化進程不斷推進，城市人口日益增多，在演出會場、旅游勝地、商業街、機場、火車站等公共場所日益頻繁地出現大規模人群聚集，在人群密度過高的區域，極易發生各種安全事故，給安防工作帶來了極大挑戰，而人群密度估計可以實時監測場景內人群的聚集程度，及時發現高密度的人群并采取疏散措施。

早期的基于檢測的人群密度估計方法多采用滑動窗口遍歷圖像，以統計圖像中的人數。這些檢測器多通過支持向量機、隨機森林已經Boosting等方法訓練得到，用來提取低層特征來監測行人，該類方法在人群稀疏的場景中表現良好，但在密集場景下，目標間的相互遮擋導致無法精確檢測到行人，因此該類算法精度極低。

針對上述問題，基于回歸的方法出現，該類方法通過將低級特征直接映射為人數，來實現密度估計，基于回歸的方法通常包括兩步，第一步為特征提取，提取紋理特征、邊緣特征等低級特征；第二步為回歸，即利用線性回歸、嶺回歸、高斯函數和隨機森林等回歸模型，將特征映射為人數，此類方法有效地解決了遮擋問題，但無法獲取圖像中的人群分布情況。

為了準確預測密集人群的人數，同時保留人群分布信息，基于深度學習的方法采用預測密度圖的思路，使用卷積神經網絡對輸入圖像進行特征提取，回歸成人群密度圖，為解決尺度變化問題，現階段的人群密度估計網絡多采用多通道的網絡結構，在不同感受野下提取多尺度特征，在精度上取得較大提升，但是該類方法大多采用獨立的多個通道，其多尺度特征提取能力有限，還有的方法雖引入了通道間的特征融合，但其采用的無差別化特征融合會造成特征過度融合，各個通道的特征逐漸趨同，導致精度降低；除了使用多通道的網絡結構提取多尺度特征以外，注意力機制的引入能有效抑制背景特征的干擾，過濾部分無效計數，從而提升整體精度。

由此可見，針對復雜背景下的高密度人群密度估計精度不高的技術問題，急需更有效的人群密度估計方法。

發明內容

本發明的目的在于克服現有技術的不足，設計提供一種基于金字塔特征融合的人群密度估計方法，用來解決多尺度目標感知困難的問題，可用于非受限實際場景的人群密度估計人去中，能夠準確的實現密度估計。

為實現上述目的，本發明實現人群密度估計的具體過程為：

（1）數據集生成：對人群公開數據集的標注信息進行處理，使用高斯核模糊標注信息中的標注點，以形成訓練所需的真實密度圖，并采用裁剪和翻轉的方式將數據集進行增廣，以獲取更多的訓練數據圖像；

（2）主干網絡特征提取：將步驟（1）得到的圖像輸入到主干網絡中進行卷積特征提取，獲得初步特征；

（3）金字塔特征融合：根據步驟（2）得到的初步特征，使用金字塔特征融合模塊進一步提取并輸出多尺度特征；

（4）密度圖回歸：采用密度圖回歸器將步驟（3）輸出的多尺度特征解碼為人群密度圖，實現人群密度的估計。

作為本發明的進一步技術方案，步驟（1）中模糊標注信息中的標注點時，對人群密度高的人群圖像采用幾何自適應高斯核，對人群密度低的人群圖像采用標準差為15的高斯核。