[發明專利]一種基于深度學習的人群計數模型及其實現方法

有效

• 申請號: 201910772643.0
• 申請日: 2019-08-21
• 公開（公告）號: CN110705344B
• 公開（公告）日: 2023-03-28
• 發明（設計）人: 林倞;甄家杰;劉凌波;李冠彬
• 申請（專利權）人: 中山大學
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V20/40;G06V10/774;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 廣州容大知識產權代理事務所(普通合伙) 44326
• 代理人: 劉新年

本發明公開了一種基于深度學習的人群計數模型及其實現方法，所述方法包括：步驟S1，獲取人群圖像，對獲取的人群圖像進行預處理并利用標注信息產生對應的人群密度圖；步驟S2，將輸入的人群圖像縮放成多個尺度版本，通過多個子網絡提取各個尺度的特征，并利用特征增強模塊增強各個尺度的特征；步驟S3，將多個子網絡產生的特征結合，生成估計的人群密度圖；步驟S4，利用估計的人群密度圖與真實的人群密度圖計算損失，更新模型參數；步驟S5，利用不同人群圖像多次迭代式地進行步驟S1?S4的訓練過程，直到符合停止的條件。

技術領域

本發明涉及基于深度學習的計算機視覺技術領域，特別是涉及一種基于深度學習的人群計數模型及其實現方法。

背景技術

人群計數是計算機視覺中的一個重要研究課題，其目標是根據人群圖像自動生成人群密度圖并估計場景中的人數。最近，由于其廣泛的實際應用，例如視頻監控、交通管理和人群流量預測，這項任務在學術界和工業界都受到越來越多的關注。

傳統的人群計數算法一般需要對圖像進行復雜的預處理，并且需要人工設計和提取特征，在跨場景的情況下往往需要重新提取特征，適應性較差。近幾年，卷積神經網絡的成功運用為人群計數技術帶來了重大突破，C.Zhang等人在2015年的研究工作“Cross-scene Crowd Counting via Deep Convolutional Neural Networks”(IEEE Conferenceon Computer Vision and Pattern Recognition(CVPR),June 2015)提出一個適用人群計數的卷積神經網絡模型，其實現了端對端訓練，無需進行前景分割以及人為地設計和提取特征，經過多層卷積之后得到高層特征，提高在跨場景人群計數的性能。然而，在不同的擁擠場景中，人群規模差異很大，同一圖象中因距離攝像頭距離不同人群的密度和分布也存在差異，該類方法無法捕捉如此巨大的規模變化。

為了解決人群規模變化的問題，一些研究工作的關注點放在了提取多個不同尺度的特征以減少規模變化的影響，例如Y.Zhang等人在2016年的研究工作“Single-ImageCrowd Counting via Multi-Column Convolutional Neural Network”(IEEE Conferenceon Computer Vision and Pattern Recognition(CVPR),June 2016)和X.Cao等人在2018年的研究工作“Scale Aggregation Network for Accurate and Efficient CrowdCounting”(Proceedings of the European Conference on Computer Vision(ECCV),2018)，均通過提取多個不同尺度的特征以減少規模變化，然而，這些方法大多采用簡單的策略來融合多個特征，不能很好地捕獲不同尺度的特征之間的互補信息。人群在不同場景下的規模差異問題仍未得到完全解決。

發明內容

為克服上述現有技術存在的不足，本發明之目的在于提供一種基于深度學習的人群計數模型及其實現方法，以解決現有技術在不同場景下的人群規模差異問題。

為達上述目的，本發明提出一種基于深度學習的人群計數模型，包括：

預處理單元，用于獲取人群圖像，對獲取的人群圖像進行預處理后輸出至特征提取單元，并利用標注信息產生對應的人群密度圖；

特征提取單元，用于將輸入的人群圖像縮放成多個尺度版本，通過多個子網絡提取各個尺度的特征，并利用特征增強模塊增強各個尺度的特征；

估計人群密度圖生成單元，用于將多個子網絡產生的特征結合，生成估計的人群密度圖；

更新單元，用于使用所述估計人群密度圖生成單元生成的估計的人群密度圖與所述預處理單元生成的真實人群密度圖計算損失，更新模型參數；