[發(fā)明專利]人群密度估計(jì)方法、裝置、電子設(shè)備及介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910750230.2
• 申請(qǐng)日: 2019-08-14
• 公開（公告）號(hào): CN110598558B
• 公開（公告）日: 2022-05-06
• 發(fā)明（設(shè)計(jì)）人: 王伊飛;黃曉峰;殷海兵;賈惠柱
• 申請(qǐng)（專利權(quán)）人: 杭州未名信科科技有限公司;浙江省北大信息技術(shù)高等研究院
• 主分類號(hào): G06V20/52
• 分類號(hào): G06V20/52;G06N3/04;G06N3/08
• 代理公司: 北京辰權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 11619
• 代理人: 劉廣達(dá)

1.一種人群密度估計(jì)方法，其特征在于，包括：

獲取針對(duì)監(jiān)控區(qū)域中人群的監(jiān)控視頻；

提取所述監(jiān)控視頻中圖像幀間差異大于預(yù)設(shè)差分閾值的關(guān)鍵幀；

將所述關(guān)鍵幀輸入卷積神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行人群分析，輸出所述關(guān)鍵幀對(duì)應(yīng)的人群密度估計(jì)圖和人數(shù)估計(jì)結(jié)果；

其中，所述卷積神經(jīng)網(wǎng)絡(luò)模型是以不同圖像及其對(duì)應(yīng)的人群密度估計(jì)圖和人數(shù)估計(jì)結(jié)果為樣本集，經(jīng)過(guò)深度學(xué)習(xí)訓(xùn)練建立的；

具體的，所述卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練過(guò)程如下：

對(duì)樣本集中的各圖像進(jìn)行預(yù)處理，以根據(jù)圖像中行人所在位置生成對(duì)應(yīng)的人頭點(diǎn)圖和真實(shí)人群密度圖；

對(duì)預(yù)處理后的樣本集進(jìn)行數(shù)據(jù)增強(qiáng)；

將數(shù)據(jù)增強(qiáng)后樣本集中的圖像及與其對(duì)應(yīng)的真值標(biāo)簽共同輸入到初始卷積神經(jīng)網(wǎng)絡(luò)模型中，輸出人群密度估計(jì)圖，其中，所述初始卷積神經(jīng)網(wǎng)絡(luò)模型采用VGG16模型的前十層作為主干網(wǎng)絡(luò)，模型的初始參數(shù)為VGG16模型的預(yù)訓(xùn)練權(quán)重，將所述圖像輸入到VGG16前十層網(wǎng)絡(luò)中，進(jìn)行特征提取，經(jīng)過(guò)卷積、池化操作得到特征圖，該特征圖大小為所述圖像的1/8，在所述主干網(wǎng)絡(luò)后面加入空洞卷積網(wǎng)絡(luò)，將所述特征圖使用1*1*1卷積操作，得到大小為所述圖像1/8的初始人群密度估計(jì)圖，將所述初始人群密度估計(jì)圖通過(guò)線性插值法擴(kuò)大至所述真實(shí)人群密度圖大小，得到與所述圖像大小一致的人群密度估計(jì)圖；

對(duì)所述人群密度估計(jì)圖的每個(gè)像素累加求和，得到人數(shù)估計(jì)結(jié)果；

將歐式距離損失函數(shù)和結(jié)構(gòu)相似性損失函數(shù)的和確定為所述初始卷積神經(jīng)網(wǎng)絡(luò)模型的整體損失函數(shù)；所述歐式距離損失函數(shù)為人群密度估計(jì)圖和真實(shí)人群密度圖的歐氏距離函數(shù)，所述結(jié)構(gòu)相似性損失函數(shù)為人群密度估計(jì)圖和真實(shí)人群密度圖的結(jié)構(gòu)相似性函數(shù)；

根據(jù)所述整體損失函數(shù)確定所述初始卷積神經(jīng)網(wǎng)絡(luò)模型的誤差；

將所述誤差反向傳播，調(diào)整所述初始卷積神經(jīng)網(wǎng)絡(luò)模型的參數(shù)，對(duì)所述初始卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行優(yōu)化；

重復(fù)以上優(yōu)化步驟，對(duì)所述初始卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，直到所述整體損失函數(shù)收斂，訓(xùn)練完成后得到所述卷積神經(jīng)網(wǎng)絡(luò)模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)增強(qiáng)包括旋轉(zhuǎn)、剪裁、翻轉(zhuǎn)變換、縮放變換、平移變換和噪聲擾動(dòng)。

3.根據(jù)權(quán)利要求1至2任一項(xiàng)所述的方法，其特征在于，所述提取所述監(jiān)控視頻中圖像幀間差異大于預(yù)設(shè)差分閾值的關(guān)鍵幀，包括：

提取所述監(jiān)控視頻中的第N幀圖像和第N-1幀圖像，N為大于1的正整數(shù)；

將所述第N幀圖像和所述第N-1幀圖像作減法運(yùn)算，得到兩幀圖像間的差分強(qiáng)度；

將所述差分強(qiáng)度大于預(yù)設(shè)差分閾值的圖像幀作為關(guān)鍵幀。