[發明專利]一種基于深度學習的圖像高密度人群計數方法

在審

• 申請號: 201710457548.2
• 申請日: 2017-06-16
• 公開（公告）號: CN107301387A
• 公開（公告）日: 2017-10-27
• 發明（設計）人: 鄧騰飛;周智恒;余衛宇
• 申請（專利權）人: 華南理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/08;G06T3/40;G06T3/60
• 代理公司: 廣州市華學知識產權代理有限公司44245
• 代理人: 李斌

技術領域

本發明涉及圖像處理技術領域，尤其涉及一種基于深度學習的圖像的高密度人群計數方法。

背景技術

近些年深度學習發展非常火熱，卷積神經網絡在圖像處理中得到了飛速發展，各種架構的神經網絡層出不窮，通過設計精密的神經網絡結構，可以用于高密度場景下的人群數目估計。公共場合如火車站，體育館等人流量密集的地方，對于實時監控人群數目能調控人流從而避免發生諸如踩踏等威脅人身安全的事件，對于提升公共安全意義重大。

傳統的人群計數算法需要前期對圖像進行復雜的預處理，需要人工設計和提取特征，并且不同的場景下適應性較差，在高密度人群場景下由于嚴重的遮擋以及視角畸變等原因，傳統的人群計數算法效果較差。

深度學習通過設計卷積神經網絡，無需對圖片進行前景分割等預處理，無需人工設計和提取特征，直接輸入大小不一的圖片，網絡可以實現端到端的訓練，自動學習到高層語義特征，可以交替回歸圖像塊的人群密度和人群總數來實現人數估計。

發明內容

本發明的主要目的在于克服傳統的圖像處理在高密度人群計數中的缺點與不足，提出了利用深度學習中的卷積神經網絡進行人群計數，無需人工干預設計復雜的特征提取方法，所提出的深淺互補卷積神經網絡自動學習參數提取高密度人群圖片特征，并回歸得到人群密度圖。

為了達到上述目的，本發明采用以下技術方案：

本發明公開了一種基于深度學習的圖像高密度人群計數方法，包括下述步驟：

S1、利用深度學習框架caffe建立深淺互補卷積神經網絡；

S2、對圖像按角度旋轉、圖像的多尺度縮放、圖像的鏡像以及圖像金字塔縮放的操作實現圖像數據增強；

S3、將增強后的圖像數據進行Gaussian核模糊歸一化處理后得到真實的人群密度圖，網絡輸出估計密度圖與真實密度圖按照損失函數不斷迭代訓練優化整個網絡結構；

S4、將人群圖片和標簽圖片輸入給網絡訓練，不斷迭代優化最終得到訓練好的網絡模型。

作為優選的技術方案，步驟S1中，所述深淺互補卷積神經網絡為高層特征和低層特征結合的神經網絡，具體包括深層網絡和淺層網絡兩列網絡：

第一列深層網絡包含13個卷積層，卷積核大小均為3×3，每層卷積后使用線性修正單元ReLU函數進行激活，使網絡稀疏，減少參數相互依賴緩解過擬合問題的發生；

第二列淺層網絡包含3個卷積層，卷積核大小均為5×5，每層卷積后使用線性修正單元ReLU函數進行激活，激活后進行池化處理；

將第二列淺層網絡的輸出輸入至第一列深層網絡最后一個平均值池化層和卷積層處理后進行輸出；

將深層網絡和淺層網絡鏈接在一起后經過1×1卷積層處理，這樣用1×1卷積層代替全連接層，將深層網絡和淺層網絡融合，使整個網絡成為全卷積網絡，該全卷積網絡可接受各種尺度圖片的輸入，最后網絡輸出估計的密度圖。

作為優選的技術方案，在第一列深層網絡中，把激活步驟放置于卷積層中，每做一次卷積后，均采用池化Pooling處理，第一列深層網絡共有4個池化層，采用最大值池化MaxPool和平均值池化AvgPool交替池化方案，最大值池化和平均值池化的窗口大小均為2×2，最后一個池化層窗口大小為3×3，步長均為1。

作為優選的技術方案，所述第二列淺層網絡均采用平均值池化AvgPool進行處理，池化的窗口大小均為5×5，步長為1。

作為優選的技術方案，步驟S2具體為：

S21、對輸入圖像進行梯度為5°的旋轉操作，左旋5°以及右旋5°使圖像數據擴大至3倍；

S22、對輸入圖像進行尺度分別為：0.6、0.9、1.4倍的縮放操作，使圖像數據擴大至12倍；

S23、對輸入圖像進行鏡像操作，使圖像數據擴大至24倍；

S24、為使網絡對于輸入圖像的大小變化更具魯棒性，采用金字塔型圖像縮放，縮放范圍為原圖的0.6至1.3倍，縮放大小的間隔為0.1，使圖像數據擴大至192倍。

作為優選的技術方案，步驟S3中，利用Gaussian核模糊歸一化處理的具體步驟為：

標注集圖像x和由Gaussian核模糊歸一化處理后的密度圖Ground Truth，即對應的真實的密度圖為：