[發明專利]一種對靜止圖像進行人群計數的方法

有效

• 申請號: 201711179075.0
• 申請日: 2017-11-23
• 公開（公告）號: CN107967451B
• 公開（公告）日: 2021-04-27
• 發明（設計）人: 楊彪;曹金夢;張御宇;崔國增;鄒凌
• 申請（專利權）人: 常州大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種對靜止圖像進行人群計數的方法，首先將逆高斯密度圖與原始高斯密度圖結合，組成組合密度圖；然后對輸入圖像不重疊采樣獲得若干圖像子塊，并基于圖像子塊及其對應的真實組合密度圖訓練網絡；以相同步幅對輸入圖像重疊采樣，將MMCNN預測得到的每個圖像子塊的組合密度圖疊加，重構完整人群圖像的組合密度圖，進而實現人群計數。此外，針對人群尺度差異問題，本發明通過一種分尺度損失函數衡量不同尺度網絡學習到的特征。同時，本發明提出的網絡以多任務的方式同時預測人群組合密度圖、密度級別以及前景/背景分類，由此改善組合密度圖的估計準確性，從而緩減人群密度不均問題。

技術領域

本發明屬于智能監控領域，特別涉及一種對靜止圖像進行人群計數的方法。

背景技術

作為智能視頻監控的重要組成部分，公共場所的人群計數有許多應用，包括人群控制，異常行為檢測和行人行為分析。人群計數可用于檢測在宗教活動或體育賽事中的潛在風險并防止過度擁擠。同時，人群計數可以擴展到其他領域，例如從微觀圖像計數細胞或細菌。

現有的人群計數方法通常分為三類，即通過檢測計數、聚類計數和回歸計數。通過檢測計數法，根據檢測場景中人的個數實現人群計數。然而，由于使用具有不同尺度的預訓練檢測器對圖像空間進行徹底掃描，所以檢測過程十分耗時。又因為人群中背景混亂，存在嚴重的遮擋導致計數結果不準確。而通過聚類計數法，假設人群由個體組成，每個個體具有獨特而連貫的運動模式，可以通過聚類估計場景中行人的數量。但是可靠的運動模式只能從足夠高幀率的視頻中提取出來。同時，運動模式通常從密集光流中提取，這個過程相當耗時。與檢測計數和聚類計數法不同，通過回歸計數法旨在實現特定視覺特征和人群計數之間的直接映射，而無需檢測或跟蹤人群中的個體。這種方法花費時間較少且能有效處理如人群局部遮擋等問題。通過回歸計數法涉及兩個主要任務，即提取特征以及設計回歸模型。在第一個任務中，可以從檢測到的人群中手動提取前景區域，如形狀、邊緣和其他特征等。許多研究集中于手動提取特征。支持向量機(SVM)能夠僅使用少量訓練樣本進行估計。其他如隨機森林、神經網絡和高斯回歸方法等也被廣泛用于預測人群數量。然而，回歸計數法主要在稀疏人群的場景下效果較好，在極其密集的人群中，手動提取的特征幾乎無法捕捉有效信息，也不能準確預測人群數量。

近期，很多研究專注于基于深度學習的人群計數。其中，大多數研究嘗試通過密度估算人群，通過將輸入人群圖像映射到其相應的密度圖，以密度圖表示圖像中每個像素的人數。與手動提取的特征不同，實驗表明由諸如卷積神經網絡(convolution neuralnetwork，CNN)等深層網絡自動提取的特征在預測人群數量方面優于傳統的手動提取的特征，其在處理人群嚴重遮擋，場景雜亂等問題上更有效。然而，基于深度學習的人群計數仍然存在諸如不均勻人群分布和尺度不一等挑戰?；谏鲜鰡栴}，本發明提出了一種利用多尺度多任務卷積神經網絡(multi-scale multi-task convolution neural network，MMCNN)進行人群計數的方法。

發明內容

本發明目的在于提出一種對靜止圖像人群計數的方法，此方法對人群遮擋、人群分布不均、尺度不一等問題具有很強的魯棒性。

本發明的技術方案為：

一種對靜止圖像進行人群計數的方法，包括以下步驟：

1)：由高斯密度圖和逆高斯密度圖計算組合密度圖；

2)：構建多尺度卷積神經網絡解決人群尺度差異問題；

3)：采取不同的采樣策略對輸入人群圖像進行訓練及預測；

4)：通過多任務學習提高結果的準確性。

進一步，所述步驟1)具體包括：

1.1)：計算高斯密度圖