[發明專利]一種對靜止圖像進行人群計數的方法

有效

• 申請號: 201711179075.0
• 申請日: 2017-11-23
• 公開（公告）號: CN107967451B
• 公開（公告）日: 2021-04-27
• 發明（設計）人: 楊彪;曹金夢;張御宇;崔國增;鄒凌
• 申請（專利權）人: 常州大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種對靜止圖像進行人群計數的方法，其特征在于，包括以下步驟：

1)：由高斯密度圖和逆高斯密度圖計算組合密度圖；

1.1)：計算高斯密度圖

利用估計密度圖進行人群計數，估計密度圖由以行人頭部位置為中心的高斯核累加得到，獲得圖像子塊中行人頭部的中心位置P_h后，生成的密度圖為：其中D_i(p)是高斯密度圖，P_i是第i個圖像子塊，Z是圖像子塊的真實人數，σ_h表示歸一化二維高斯核N_h的方差，生成的密度圖中某一位置的值越高表示該位置人群密度越大；

1.2)：計算逆高斯密度圖

將高斯密度圖反轉，獲取逆高斯密度圖其中D_i(p)_[m,n]表示高斯密度圖在[m，n]處的值，m、n分別表示高斯密度圖的長和寬，Th是用于區分高斯密度圖邊緣與背景的給定閾值；逆高斯密度圖由圖像子塊的真實人數Z歸一化，即

1.3)：計算組合密度圖

由高斯密度圖及對應的逆高斯密度圖，通過計算組合密度圖；

2)：構建多尺度卷積神經網絡解決人群尺度差異問題；

3)：采取不同的采樣策略對輸入人群圖像進行訓練及預測；

4)：通過多任務學習提高結果的準確性。

2.根據權利要求1所述的一種對靜止圖像進行人群計數的方法，其特征在于，所述步驟2)具體為：

2.1)：構建三個具有不同尺度信息的卷積神經網絡CNN通道，包括原始通道、上采樣通道及下采樣通道，每個通道由四個不同大小局部感受野的卷積層組成；對具有較大感受野的CNN通道，使用較少數量的濾波器，以減小網絡規模；

2.2)：每個CNN通道前兩層卷積之后連接步長為2的最大池化層，故不同通道第3層卷積的輸入是原圖大小的1/4；

2.3)：采用去卷積操作，保證第4個卷積層輸出的特征大小相同的同時彌補由于之前最大池化操作導致丟失的細節，去卷積運算次數取決于每個CNN通道第4個卷積層輸出特征的大小。

3.根據權利要求1所述的一種對靜止圖像進行人群計數的方法，其特征在于，所述步驟3)具體包括：

3.1)：訓練階段：

將人群圖像等分成若干圖像子塊，采用不重疊采樣策略，利用圖像子塊和對應的真實標記，以多任務的方式訓練網絡；真實標記包括組合密度圖、人群密度等級以及背景/前景分類；

3.2)：測試階段：

以相同步幅對輸入圖像重疊采樣，按照多任務學習的方式估計每個圖像子塊的組合密度圖、人群密度級別和背景/前景分類；將所有圖像子塊的組合密度圖重構獲得整張圖像的密度圖，對于重疊部分，將該處密度值除以重疊次數進行歸一化；

3.3)：訓練、測試階段均通過對整張人群圖像的組合密度圖進行積分，計算全局人群數量。

4.根據權利要求2所述的一種對靜止圖像進行人群計數的方法，其特征在于，所述步驟4)具體包括：

4.1)：計算組合密度圖與真實值之間的損失L_density

將三個CNN通道第4個卷積層輸出的特征通過Merge層合并，然后輸入到第5層卷積，最后將第5層卷積的輸出映射到組合密度圖，計算組合密度圖與真實值之間的損失L_density：其中N是訓練樣本數目，Θ是網絡參數，P_i是第i小塊,F_d(P_i,Θ)是P_i的估計密度圖,是F_d(P_i,Θ)的真實值；

4.2)：計算人群密度等級與真實值之間的損失L_level

通過一組級聯卷積濾波器對第5層卷積的輸出進行處理，其次使用高度為3的空間金字塔池SPP保證任意大小圖像均可輸入訓練；采用4個全連接層，前3個全連接層后緊接著PReLU激活層，第4個全連接層之后連接sigmoid激活層，表示輸入圖像子塊的人群密度等級；估計人群密度等級與其真實值之間的損失L_level：其中M是密度級別個數，F_c(P_i,Θ)是估計的P_i密度級，是真實值；

4.3)：計算前景/背景分類與真實值之間的損失L_mask

將合并的特征映射到背景/前景分類，計算背景/前景分類與真實值之間的損失L_mask：其中F_m(P_i,Θ)是P_i背景/前景分類估計，是真實值；

由尺度和背景/前景分類的相關性，分尺度損失PL_mask定義如下：其中N是訓練樣本數目，α_j表示第j尺度的權重，Θ_j是j尺度下的CNN通道的參數，是P_i的背景/前景分類估計；

4.4)：確定聯合損失函數L_total

多尺度多任務卷積神經網絡損失函數最終定義為：L_total＝λ₁L_density+λ₂L_level+λ₃PL_mask，其中λ₁、λ₂、λ₃是不同損失函數的權重。