[發(fā)明專利]一種密集人群計(jì)數(shù)檢測(cè)框架

在審

• 申請(qǐng)?zhí)枺?/td>: 202010418252.1
• 申請(qǐng)日: 2020-05-18
• 公開(kāi)（公告）號(hào): CN111666830A
• 公開(kāi)（公告）日: 2020-09-15
• 發(fā)明（設(shè)計(jì)）人: 馬天龍;杜響成;吳興蛟
• 申請(qǐng)（專利權(quán)）人: 華東師范大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海藍(lán)迪專利商標(biāo)事務(wù)所(普通合伙) 31215
• 代理人: 徐筱梅;張翔

本發(fā)明公開(kāi)了一種密集人群計(jì)數(shù)的檢測(cè)框架，其特點(diǎn)是該檢測(cè)框架包括：特征提取器和四個(gè)自上而下的功能調(diào)制器，所述特征提取器提取多尺度的特征信息；所述自上而下的功能調(diào)制器以特征提取器的輸出為基礎(chǔ)，多尺度的信息在調(diào)制器中被融合并做出更加精確預(yù)測(cè)。本發(fā)明與現(xiàn)有技術(shù)相比具有人數(shù)統(tǒng)計(jì)的準(zhǔn)確率高，局部化能力強(qiáng)，能可靠地檢測(cè)稀疏以及密集人群中的人頭，有足夠精確的人員定位，尤其是密集人群的巨大多樣性，實(shí)時(shí)性好。

技術(shù)領(lǐng)域

本發(fā)明涉及人群圖像計(jì)數(shù)技術(shù)領(lǐng)域，尤其是一種基于定位和計(jì)數(shù)的密集人群計(jì)數(shù)檢測(cè)框架。

技術(shù)背景

從圖像或視頻中進(jìn)行人群統(tǒng)計(jì)，對(duì)于交通控制和公共安全等應(yīng)用變得至關(guān)重要，特別是在公共安全和規(guī)劃方面?？焖俜治雒芗巳菏悄壳白钍荜P(guān)注的技術(shù)之一。但是，人群圖像或視頻的自動(dòng)推理是一個(gè)具有挑戰(zhàn)性的計(jì)算機(jī)視覺(jué)任務(wù)，在密集的人群中，這個(gè)任務(wù)的難度非常大，通常會(huì)縮小到估計(jì)人數(shù)。

現(xiàn)有技術(shù)的計(jì)數(shù)模型預(yù)測(cè)圖像的人群密度，由于不是檢測(cè)每個(gè)人，這些回歸方法無(wú)法對(duì)除計(jì)數(shù)之外的大多數(shù)應(yīng)用程序進(jìn)行足夠精確的人員定位，尤其是密集人群的巨大多樣性，人數(shù)統(tǒng)計(jì)的準(zhǔn)確率低、實(shí)時(shí)性差。

發(fā)明內(nèi)容

本發(fā)明的目的是針對(duì)現(xiàn)有技術(shù)的不足而提出的一種密集人群計(jì)數(shù)檢測(cè)框架，采用特征提取器和四個(gè)自上而下的功能調(diào)制器構(gòu)架的檢測(cè)框架，將其定位場(chǎng)景中的密集人群，被檢測(cè)到的每個(gè)人頭上都有外接框，根據(jù)外接框預(yù)測(cè)密集人群數(shù)量，能夠可靠地檢測(cè)稀疏以及密集人群中的人頭，基于定位對(duì)人群進(jìn)行統(tǒng)計(jì)，做出更加精確預(yù)測(cè)，有效解決了傳統(tǒng)視頻計(jì)數(shù)方法定位和計(jì)數(shù)無(wú)法統(tǒng)一的缺陷，方法簡(jiǎn)便，統(tǒng)計(jì)精度高，實(shí)時(shí)性好，尤其適合密集人群巨大多樣性的人數(shù)統(tǒng)計(jì)。

實(shí)現(xiàn)本發(fā)明目的具體技術(shù)方案是：一種密集人群計(jì)數(shù)的檢測(cè)框架，其特點(diǎn)是該檢測(cè)框架由圖片預(yù)處理模塊、特征提取器、調(diào)制模塊和預(yù)測(cè)模塊組成，將檢測(cè)框架定位場(chǎng)景中的密集人群，被檢測(cè)到的每個(gè)人頭上都有外接框，根據(jù)外接框?qū)γ芗巳簲?shù)量進(jìn)行精確預(yù)測(cè)，所述圖片預(yù)處理模塊將輸入的圖片生成密度圖；所述特征提取器采用VGG-16網(wǎng)絡(luò)的前五個(gè)卷積模塊對(duì)輸入的圖片在多個(gè)尺度上進(jìn)行特征的提取，生成1/2、1/4、1/8和1/16原分辨率大小的特征圖；所述調(diào)制模塊由四個(gè)自上而下的功能調(diào)制器組成，對(duì)提取的特征圖進(jìn)行融合；所述功能調(diào)制器在獲取的特征圖上采樣到相同的尺寸，然后經(jīng)過(guò)卷積操作將特征圖調(diào)整到相同數(shù)量；所述預(yù)測(cè)模塊采用非最大抑制(NMS) 對(duì)融合多尺度的特征圖從多個(gè)分辨率圖像上確定有效的預(yù)測(cè)結(jié)果，并結(jié)合生成精確預(yù)測(cè)的結(jié)果。

所述五個(gè)卷積模塊除了第一個(gè)和最后一個(gè)卷積模塊之外，每個(gè)模塊上的網(wǎng)絡(luò)分支都要復(fù)制下一個(gè)模塊，并通過(guò)這些模塊創(chuàng)建多尺度分辨率的特征信息。

所述功能調(diào)制器由特征獲取模塊、特征融合模塊、特征分類模塊和特征輸出模塊組成。

所述特征獲取模塊從特征提取器以及上一個(gè)自上而下的功能調(diào)制器中提取特征信息，所述特征獲取模塊從特征提取器中提取一個(gè)尺度的特征圖，將其通過(guò)3×3的卷積層傳遞；所述特征獲取模塊從上一個(gè)自上而下的功能調(diào)制器中提取特征圖經(jīng)轉(zhuǎn)置卷積操作調(diào)整到相同數(shù)量。

所述特征融合模塊采用網(wǎng)絡(luò)層將人群特征與多尺度的自頂向下特征進(jìn)行融合。

所述特征輸出模塊根據(jù)特征融合模塊提取下一個(gè)自上而下的功能調(diào)制器所需的特征。

所述特征分類模塊為預(yù)測(cè)模塊提供一個(gè)輸出，它將每個(gè)像素分類為背景或到一個(gè)預(yù)定義的邊界框。

本發(fā)明與現(xiàn)有技術(shù)相比具以下技術(shù)效果：

1）提出了一種能夠自動(dòng)學(xué)習(xí)的分類方法，通過(guò)對(duì)輸入圖像尺寸的不同響應(yīng)，提供不同權(quán)重的輸出，從而指導(dǎo)得到一種更為準(zhǔn)確并且可以不斷演進(jìn)的技術(shù)框架。

2）解決了傳統(tǒng)視頻計(jì)數(shù)方法定位和計(jì)數(shù)無(wú)法統(tǒng)一的缺陷，效果在公共數(shù)據(jù)集上（ShanghaiTech Part A，ShanghaiTech Part B，UCF_CC_50, UCF-QNRF）得到了驗(yàn)證。