[發(fā)明專利]基于深度卷積神經(jīng)網(wǎng)絡(luò)的人群異常行為視覺檢測及分析預(yù)警系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201710441026.3
• 申請日: 2017-06-13
• 公開（公告）號: CN107729799A
• 公開（公告）日: 2018-02-23
• 發(fā)明（設(shè)計(jì)）人: 湯一平;柳展;溫曉岳;錢小鴻
• 申請（專利權(quán)）人: 銀江股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/08;G06T7/20;G06T7/80;H04N5/232
• 代理公司: 杭州斯可睿專利事務(wù)所有限公司33241
• 代理人: 王利強(qiáng)

1.一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的人群異常行為視覺檢測及分析預(yù)警系統(tǒng)，其特征在于：所述系統(tǒng)包括安裝在監(jiān)控目標(biāo)設(shè)施的攝像機(jī)、安防云服務(wù)器和人群異常行為視覺檢測分析預(yù)警系統(tǒng)；

所述的攝像機(jī)用于獲取目標(biāo)設(shè)施的視頻數(shù)據(jù)，配置在需要監(jiān)控的目標(biāo)設(shè)施的上方，通過網(wǎng)絡(luò)將需要監(jiān)控的目標(biāo)設(shè)施的視頻圖像數(shù)據(jù)傳輸給所述的安防云服務(wù)器；

所述的安防云服務(wù)器用于接收從所述的攝像機(jī)所獲得的監(jiān)控目標(biāo)設(shè)施的視頻數(shù)據(jù)，并將其遞交給所述的人群異常行為視覺檢測分析預(yù)警系統(tǒng)進(jìn)行檢測和識別，最后將檢測分析結(jié)果保存在云服務(wù)器中并以WebGIS的方式進(jìn)行發(fā)布，并推送報(bào)警至管理者或決策者；

所述的人群異常行為視覺檢測分析預(yù)警系統(tǒng)包括攝像機(jī)標(biāo)定模塊、人群聚集檢測模塊、人群聚集管控模塊和人群聚集事件發(fā)布模塊；

所述的攝像機(jī)標(biāo)定模塊用于為計(jì)算人群密度和人群的聚集面積做好準(zhǔn)備，采用張正友的平面標(biāo)定方法，通過標(biāo)定得到圖像中的每個像素點(diǎn)與目標(biāo)設(shè)施中實(shí)際面積之間的對應(yīng)關(guān)系；

所述的人群聚集檢測模塊，包括基于Fast R-CNN人體對象檢測單元、光流法人體運(yùn)動狀態(tài)檢測單元、人群聚集判斷單元和人群密度計(jì)算單元；

所述的人群聚集管控模塊用于根據(jù)人群密度、運(yùn)動向量值、持續(xù)時間量化指標(biāo)數(shù)據(jù)的不同組合來識別和判定各種人群行為異常，并根據(jù)不同的人群行為異常做出相應(yīng)的預(yù)警方案；

所述的人群聚集事件發(fā)布模塊用于將人群異常行為視覺檢測分析結(jié)果及相應(yīng)的預(yù)警方案用WebGIS的方式進(jìn)行發(fā)布，并推送報(bào)警至管理者或決策者。

2.如權(quán)利要求1所述的基于深度卷積神經(jīng)網(wǎng)絡(luò)的人群異常行為視覺檢測及分析預(yù)警系統(tǒng)，其特征在于：所述的基于Fast R-CNN人體對象檢測單元用于檢測在視頻圖像中的所有人體對象，采用深度卷積神經(jīng)網(wǎng)絡(luò)快速分割出目標(biāo)設(shè)施內(nèi)的人體對象并給出這些人體對象在目標(biāo)設(shè)施內(nèi)所占的空間位置信息；

使用的人體對象分割及定位由兩個模型組成，一個模型是生成RoI的選擇性搜索網(wǎng)絡(luò)；另一個模型是Fast R-CNN人體對象目標(biāo)檢測網(wǎng)絡(luò)；

選擇性搜索網(wǎng)絡(luò)，即RPN；RPN網(wǎng)絡(luò)將一個任意尺度圖像作為輸入，輸出矩形目標(biāo)建議框的集合，每個框包含4個位置坐標(biāo)變量和一個得分；為了生成區(qū)域建議框，在最后一個共享的卷積層輸出的卷積特征映射上滑動小網(wǎng)絡(luò)，這個網(wǎng)絡(luò)全連接到輸入卷積特征映射的n×n的空間窗口上；每個滑動窗口映射到一個低維向量上，每個特征映射的一個滑動窗口對應(yīng)一個數(shù)值；這個向量輸出給兩個同級的全連接的層；

在每一個滑動窗口的位置，同時預(yù)測k個建議區(qū)域，所以位置回歸層有4k個輸出，即k個包圍盒的坐標(biāo)編碼；分類層輸出2k個包圍盒的得分，即對每個建議框是目標(biāo)/非目標(biāo)的估計(jì)概率，是用二分類的softmax層實(shí)現(xiàn)的分類層；k個建議框被相應(yīng)的k個稱為anchor的建議框參數(shù)化；每個anchor以當(dāng)前滑動窗口中心為中心，并對應(yīng)一種尺度和長寬比，使用3種尺度和3種長寬比，這樣在每一個滑動位置就有k＝9個anchor；

為了訓(xùn)練RPN網(wǎng)絡(luò)，給每個anchor分配一個二進(jìn)制的標(biāo)簽，以此來標(biāo)注該anchor是不是人體對象目標(biāo)；然后分配正標(biāo)簽給這兩類anchor：(I)與某個真正目標(biāo)包圍盒，即Ground Truth，GT有最高的IoU，即Interse-ction-over-Union，交集并集之比，重疊的anchor；(II)與任意GT包圍盒有大于0.7的IoU交疊的anchor；注意到一個GT包圍盒可能給多個anchor分配正標(biāo)簽，分配負(fù)標(biāo)簽給與所有GT包圍盒的IoU比率都低于0.3的anchor；非正非負(fù)的anchor對訓(xùn)練目標(biāo)沒有任何作用，則棄用；

遵循Fast R-CNN中的多任務(wù)損失，最小化目標(biāo)函數(shù)；對一個圖像的損失函數(shù)定義為：

L({pi},{ti})=1NckΣiLcls(pi,pi*)+λ1NregΣipi*Lreg(ti,ti*)---(1)]]>

這里，i是一個anchor的索引，p_i是anchor是第i目標(biāo)的預(yù)測概率，如果anchor為正，GT標(biāo)簽就是1，如果anchor為負(fù)，就是0；t_i是一個向量，表示預(yù)測的包圍盒的4個參數(shù)化坐標(biāo)，是與正anchor對應(yīng)的GT包圍盒的坐標(biāo)向量；λ是一個平衡權(quán)重，N_cls是cls項(xiàng)的歸一化值為mini-batch的大小，N_reg是reg項(xiàng)的歸一化值為anchor位置的數(shù)量；分類損失函數(shù)L_cls是兩個類別，即人體對象目標(biāo)與非人體對象目標(biāo)的對數(shù)損失：

Lcls(pi,pi*)=-log[pi*pi+(1-pi*)(1-pi)]---(2)]]>

對于回歸損失函數(shù)L_reg，用以下函數(shù)定義：

Lreg=(ti,ti*)=R(ti-ti*)---(3)]]>

式中，L_reg為回歸損失函數(shù)，R是魯棒的損失函數(shù)，用公式(4)計(jì)算smooth L₁；

smoothL1(x)=0.5x2if|x|<1|x|-0.5otherwise,---(4)]]>

式中，smooth_L1為smooth L₁損失函數(shù)，x為變量；

在輸入圖像經(jīng)過深度卷積神經(jīng)網(wǎng)絡(luò)后得到特征圖，依據(jù)特征圖以及RPN網(wǎng)絡(luò)則得到相應(yīng)的RoIs，最后則通過RoI池化層；輸入是N個特征映射和R個RoI；N個特征映射來自于最后一個卷積層，每個特征映射的大小都是w×h×c；每個RoI是一個元組(n,r,c,h,w),其中，n是特征映射的索引，n∈(0,1,2,...,N-1)，r,c是左上角坐標(biāo)，h,w分別是高和寬；輸出則由最大池化得到的特征映射，該層的作用主要有兩個，一是將原圖中的RoI與特征圖中的塊對應(yīng)起來；另一個是將特征圖下采樣為固定大小，然后再傳入全連接。