[發(fā)明專利]基于場(chǎng)景深度信息的人群計(jì)數(shù)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910240280.6
• 申請(qǐng)日: 2019-03-28
• 公開（公告）號(hào): CN110059581A
• 公開（公告）日: 2019-07-26
• 發(fā)明（設(shè)計(jì)）人: 龔聲蓉;燕然;鐘珊;王朝暉;劉純平
• 申請(qǐng)（專利權(quán)）人: 常熟理工學(xué)院
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06T7/11;G06T7/194
• 代理公司: 南京理工大學(xué)專利中心 32203
• 代理人: 吳茂杰

1.一種基于場(chǎng)景深度信息的人群計(jì)數(shù)方法，其特征在于，包括如下步驟：

(10)圖像分割：采用單目圖像深度估計(jì)算法，提取輸入圖像的深度信息，根據(jù)深度信息將輸入圖像分割為近景區(qū)域和遠(yuǎn)景區(qū)域；

(20)近景區(qū)域人群計(jì)數(shù)：采用基于目標(biāo)檢測(cè)的人群計(jì)數(shù)方法，預(yù)測(cè)近景區(qū)域人頭邊界框，得到近景區(qū)域人數(shù)；

(30)遠(yuǎn)景區(qū)域人群計(jì)數(shù)：采用基于密度估計(jì)的人群計(jì)數(shù)方法，預(yù)測(cè)遠(yuǎn)景區(qū)域人群密度圖，對(duì)遠(yuǎn)景區(qū)域密度圖求積，得到遠(yuǎn)景區(qū)域人數(shù)；

(40)輸入圖像人數(shù)確定：將遠(yuǎn)景區(qū)域人數(shù)與近景區(qū)域人數(shù)相加，得出輸入圖像的總?cè)藬?shù)。

2.根據(jù)權(quán)利要求1所述的人群計(jì)數(shù)方法，其特征在于，所述(10)圖像分割步驟包括：

(11)提取深度信息：采用全卷積殘差網(wǎng)絡(luò)，對(duì)單張RGB輸入圖像進(jìn)行深度圖預(yù)測(cè)，將輸入圖像映射成對(duì)應(yīng)的深度圖，并將深度圖尺寸還原至輸入圖像的大小；

(12)分割圖像區(qū)域：采用線性迭代聚類方法，將深度圖分割為兩個(gè)部分，再將分割結(jié)果映射到輸入圖像中，從而將輸入圖像分割為基于深度信息的近景區(qū)域和遠(yuǎn)景區(qū)域。

3.根據(jù)權(quán)利要求1所述的人群計(jì)數(shù)方法，其特征在于，所述(20)近景區(qū)域人群計(jì)數(shù)步驟包括：

(21)人頭邊界框預(yù)測(cè)：針對(duì)近景區(qū)域，采用端到端的目標(biāo)檢測(cè)方法，檢測(cè)其中的人頭目標(biāo)，預(yù)測(cè)出人頭邊界框；

(22)近景人數(shù)統(tǒng)計(jì)：根據(jù)人頭邊界框的個(gè)數(shù)得到近景區(qū)域人數(shù)。

4.根據(jù)權(quán)利要求1所述的人群計(jì)數(shù)方法，其特征在于，所述(30)遠(yuǎn)景區(qū)域人群計(jì)數(shù)步驟包括：

(31)網(wǎng)絡(luò)構(gòu)建：構(gòu)建由分類器和回歸器組成的聯(lián)合網(wǎng)絡(luò)，，所述分類器采用殘差網(wǎng)絡(luò)，用于根據(jù)人頭尺度對(duì)輸入網(wǎng)絡(luò)的圖像塊進(jìn)行分類，以便為其選擇合適的回歸器進(jìn)行密度圖回歸，所述回歸器采用多列卷積神經(jīng)網(wǎng)絡(luò)和基于索引的隨機(jī)池化層，其包含三列子網(wǎng)絡(luò)，分別對(duì)應(yīng)不同尺度的人頭，圖像塊經(jīng)分類后進(jìn)入不同的子網(wǎng)絡(luò)進(jìn)行密度圖回歸；

(32)網(wǎng)絡(luò)訓(xùn)練：將訓(xùn)練集樣本輸入聯(lián)合網(wǎng)絡(luò)，采用聯(lián)合學(xué)習(xí)的方式對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以固定網(wǎng)絡(luò)的參數(shù)。

(33)遠(yuǎn)景人數(shù)統(tǒng)計(jì)：將遠(yuǎn)景區(qū)域輸入聯(lián)合網(wǎng)絡(luò)得到預(yù)測(cè)的人群密度圖，對(duì)密度圖求積得到遠(yuǎn)景區(qū)域人數(shù)。

5.根據(jù)權(quán)利要求4所述的人群計(jì)數(shù)方法，其特征在于，所述(32)網(wǎng)絡(luò)訓(xùn)練步驟包括：

(321)預(yù)訓(xùn)練：使用ResNet-50在ImageNet2012分類數(shù)據(jù)集上訓(xùn)練，得到參數(shù)初始化分類器網(wǎng)絡(luò)，將修改的層的參數(shù)設(shè)為0，使用訓(xùn)練數(shù)據(jù)集分別對(duì)子回歸器進(jìn)行訓(xùn)練，直至驗(yàn)證精度達(dá)到穩(wěn)定狀態(tài)；

(322)回歸器訓(xùn)練：用同一個(gè)圖像塊分別輸入各子回歸器，得到不同的計(jì)數(shù)結(jié)果，將計(jì)數(shù)誤差最小的子回歸器作為分類標(biāo)簽來標(biāo)記圖像塊，將訓(xùn)練數(shù)據(jù)集的所有圖像塊都用同樣的方式進(jìn)行標(biāo)記，然后用三種類別(R₁,R₂,R₃)的圖像塊分別對(duì)各自的子回歸器進(jìn)行微調(diào)，微調(diào)時(shí)使用隨機(jī)梯度下降法進(jìn)行反向傳播來優(yōu)化計(jì)數(shù)誤差，直至驗(yàn)證精度達(dá)到穩(wěn)定狀態(tài)；

(323)分類器訓(xùn)練：分類器將圖像塊分為三個(gè)類別，將交叉熵函數(shù)作為分類器的損失函數(shù)，使用隨機(jī)梯度下降法進(jìn)行反向傳播來優(yōu)化分類誤差；

(324)交替訓(xùn)練:對(duì)分類器和回歸器進(jìn)行多次迭代，交替訓(xùn)練，將交替訓(xùn)練的迭代次數(shù)設(shè)為50，在迭代完成后選取驗(yàn)證精度最佳的模型參數(shù)。

6.根據(jù)權(quán)利要求5所述的人群計(jì)數(shù)方法，其特征在于，所述(324)交替訓(xùn)練步驟中，所述每次迭代過程包括：

(3241)利用新的分類標(biāo)簽對(duì)分類器進(jìn)行訓(xùn)練，得到新的分類器；

(3242)利用密度圖誤差對(duì)回歸器進(jìn)行訓(xùn)練，得到新的回歸器；

(3243)新回歸器產(chǎn)生新的分類標(biāo)簽，更新圖像塊的分類標(biāo)簽。