[發明專利]基于多列卷積神經網絡的單張圖像人群計數算法

有效

• 申請號: 201511030645.0
• 申請日: 2015-12-31
• 公開（公告）號: CN105528589B
• 公開（公告）日: 2019-01-01
• 發明（設計）人: 高盛華;張營營;馬毅
• 申請（專利權）人: 上海科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 上海申匯專利代理有限公司 31001
• 代理人: 翁若瑩

本發明提供了一種基于多列卷積神經網絡的單張圖像人群計數算法，其中的多列卷積神經網絡有三個子網絡，每個子網絡用到卷積核的大小不同，每個子網絡的輸入為同一張圖像，在經過四次卷積和兩次池化后，三個子網絡輸出的特征圖在“通道”維度上鏈接在一起，再用一個1×1的核卷積得到人群的密度圖。本發明得到的人群密度優于現有算法。

技術領域

本發明涉及一種依據單張圖像進行精確的人群計數或者人群密度估計的算法。

背景技術

現有人群計數算法存在對圖像分割技術依賴性比較大、計數規模較小、輸入圖片大小固定等諸多限制，很多算法對于人數變化很大，或者背景復雜的圖像的計數精度很低。如今，室外廣場、街道基本都配備了攝像頭，但是人群信息處理還沒有得到有效應用，因此精確的人群計數或者人群密度估計算法對于監控中人群異常事件檢測具有重要意義。

發明內容

本發明的目的是提供一種依據單張圖像進行精確的人群計數或者人群密度估計的算法。

為了達到上述目的，本發明的技術方案是提供了一種基于多列卷積神經網絡的單張圖像人群計數算法，包括以下步驟：

建立多列卷積神經網絡，利用樣本集對該多列卷積神經網絡進行訓練，得到待學習參數Θ的估計，使得通過該多列卷積神經網絡得到的樣本集中任意輸入圖像x的人群密度估計圖F(x；Θ)與該輸入圖像x的實際人群密度圖M(x)間的歐式距離最小，其特征在于：

所述多列卷積神經網絡包括子網絡一、子網絡二、子網絡三，同一張輸入圖像x輸入子網絡一、子網絡二、子網絡三后均經過四次卷積和兩次池化得到三組不同的特征圖，子網絡一的卷積的卷積核大小為N₁×N₁，子網絡二的卷積的卷積核大小為N₂×N₂，子網絡三的卷積的卷積核大小為N₃×N₃，N₁＞N₂＞N₃，三組特征圖在通道維度上鏈接在一起，再用一個1×1的核卷積得到人群的估計密度圖，該多列卷積神經網絡的損失函數是多列卷積神經網絡的第i幅輸入圖像x_i的人群密度估計圖F(x_i；Θ)和多列卷積神經網絡的第i幅輸入圖像x_i的實際人群密度圖M(x_i)之間的歐氏距離L(Θ)，式中，N為輸入多列卷積神經網絡的圖像數量，為多列卷積神經網絡的參數設定一個初始值后，根據實際的標準密度圖算出輸入圖片的損失：L(Θ)，然后在每一次優化迭代中更新整個網絡的參數Θ，直到損失值收斂到一個較小的值。

優選地，采用隨機梯度下降法在每一次優化迭代中更新整個網絡的參數Θ。

優選地，輸入圖像x對應的實際人群密度圖M(x)表示為：)式中，N為圖像中的人數，表示輸入圖像x中每個像素的位置，x_i為第i個人頭在輸入圖像x中的位置，δ(·)為單位沖擊函數，*為卷積操作，為標準差為σ_i的高斯核。

本發明在三個公共數據集上以及一個發明人自己提出的數據集上與其他方法進行了比較，公共數據集包括UCF_CC_50，UCSD和WorldExpo。各個數據集的信息如下表所示：

上表中，Num為圖像數量，Max、Min分別表示圖像中出現的最大人數和最小人數，Ave表示圖像的平均人數，Total是數據集中所有的人數。

發明采用平均絕對誤差(MAE)：和均方誤差(MSE)：(N為圖片數量，z_i為第i幅圖像中實際的人頭數，為第i幅圖像通過本發明提供的網絡輸出的人頭數)來衡量算法的準確性。在UCF_CC_50數據集上，本發明方法與現有技術的對比，如下表所示(MCNN為本發明的算法)：