[發(fā)明專利]一種基于深度學(xué)習(xí)的人群計數(shù)模型及其實(shí)現(xiàn)方法

有效

• 申請?zhí)枺?/td>: 201910772643.0
• 申請日: 2019-08-21
• 公開（公告）號: CN110705344B
• 公開（公告）日: 2023-03-28
• 發(fā)明（設(shè)計）人: 林倞;甄家杰;劉凌波;李冠彬
• 申請（專利權(quán)）人: 中山大學(xué)
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V20/40;G06V10/774;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 廣州容大知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44326
• 代理人: 劉新年

本發(fā)明公開了一種基于深度學(xué)習(xí)的人群計數(shù)模型及其實(shí)現(xiàn)方法，所述方法包括：步驟S1，獲取人群圖像，對獲取的人群圖像進(jìn)行預(yù)處理并利用標(biāo)注信息產(chǎn)生對應(yīng)的人群密度圖；步驟S2，將輸入的人群圖像縮放成多個尺度版本，通過多個子網(wǎng)絡(luò)提取各個尺度的特征，并利用特征增強(qiáng)模塊增強(qiáng)各個尺度的特征；步驟S3，將多個子網(wǎng)絡(luò)產(chǎn)生的特征結(jié)合，生成估計的人群密度圖；步驟S4，利用估計的人群密度圖與真實(shí)的人群密度圖計算損失，更新模型參數(shù)；步驟S5，利用不同人群圖像多次迭代式地進(jìn)行步驟S1?S4的訓(xùn)練過程，直到符合停止的條件。

技術(shù)領(lǐng)域

本發(fā)明涉及基于深度學(xué)習(xí)的計算機(jī)視覺技術(shù)領(lǐng)域，特別是涉及一種基于深度學(xué)習(xí)的人群計數(shù)模型及其實(shí)現(xiàn)方法。

背景技術(shù)

人群計數(shù)是計算機(jī)視覺中的一個重要研究課題，其目標(biāo)是根據(jù)人群圖像自動生成人群密度圖并估計場景中的人數(shù)。最近，由于其廣泛的實(shí)際應(yīng)用，例如視頻監(jiān)控、交通管理和人群流量預(yù)測，這項(xiàng)任務(wù)在學(xué)術(shù)界和工業(yè)界都受到越來越多的關(guān)注。

傳統(tǒng)的人群計數(shù)算法一般需要對圖像進(jìn)行復(fù)雜的預(yù)處理，并且需要人工設(shè)計和提取特征，在跨場景的情況下往往需要重新提取特征，適應(yīng)性較差。近幾年，卷積神經(jīng)網(wǎng)絡(luò)的成功運(yùn)用為人群計數(shù)技術(shù)帶來了重大突破，C.Zhang等人在2015年的研究工作“Cross-scene Crowd Counting via Deep Convolutional Neural Networks”(IEEE Conferenceon Computer Vision and Pattern Recognition(CVPR),June 2015)提出一個適用人群計數(shù)的卷積神經(jīng)網(wǎng)絡(luò)模型，其實(shí)現(xiàn)了端對端訓(xùn)練，無需進(jìn)行前景分割以及人為地設(shè)計和提取特征，經(jīng)過多層卷積之后得到高層特征，提高在跨場景人群計數(shù)的性能。然而，在不同的擁擠場景中，人群規(guī)模差異很大，同一圖象中因距離攝像頭距離不同人群的密度和分布也存在差異，該類方法無法捕捉如此巨大的規(guī)模變化。

為了解決人群規(guī)模變化的問題，一些研究工作的關(guān)注點(diǎn)放在了提取多個不同尺度的特征以減少規(guī)模變化的影響，例如Y.Zhang等人在2016年的研究工作“Single-ImageCrowd Counting via Multi-Column Convolutional Neural Network”(IEEE Conferenceon Computer Vision and Pattern Recognition(CVPR),June 2016)和X.Cao等人在2018年的研究工作“Scale Aggregation Network for Accurate and Efficient CrowdCounting”(Proceedings of the European Conference on Computer Vision(ECCV),2018)，均通過提取多個不同尺度的特征以減少規(guī)模變化，然而，這些方法大多采用簡單的策略來融合多個特征，不能很好地捕獲不同尺度的特征之間的互補(bǔ)信息。人群在不同場景下的規(guī)模差異問題仍未得到完全解決。

發(fā)明內(nèi)容

為克服上述現(xiàn)有技術(shù)存在的不足，本發(fā)明之目的在于提供一種基于深度學(xué)習(xí)的人群計數(shù)模型及其實(shí)現(xiàn)方法，以解決現(xiàn)有技術(shù)在不同場景下的人群規(guī)模差異問題。

為達(dá)上述目的，本發(fā)明提出一種基于深度學(xué)習(xí)的人群計數(shù)模型，包括：

預(yù)處理單元，用于獲取人群圖像，對獲取的人群圖像進(jìn)行預(yù)處理后輸出至特征提取單元，并利用標(biāo)注信息產(chǎn)生對應(yīng)的人群密度圖；

特征提取單元，用于將輸入的人群圖像縮放成多個尺度版本，通過多個子網(wǎng)絡(luò)提取各個尺度的特征，并利用特征增強(qiáng)模塊增強(qiáng)各個尺度的特征；

估計人群密度圖生成單元，用于將多個子網(wǎng)絡(luò)產(chǎn)生的特征結(jié)合，生成估計的人群密度圖；

更新單元，用于使用所述估計人群密度圖生成單元生成的估計的人群密度圖與所述預(yù)處理單元生成的真實(shí)人群密度圖計算損失，更新模型參數(shù)；