[發(fā)明專利]基于深度卷積神經(jīng)網(wǎng)絡(luò)的多任務(wù)車輛逆向行駛視覺檢測(cè)系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201710440989.1
• 申請(qǐng)日: 2017-06-13
• 公開（公告）號(hào): CN107730904A
• 公開（公告）日: 2018-02-23
• 發(fā)明（設(shè)計(jì)）人: 湯一平;王輝;溫曉岳;錢小鴻
• 申請(qǐng)（專利權(quán)）人: 銀江股份有限公司
• 主分類號(hào): G08G1/017
• 分類號(hào): G08G1/017;G08G1/056;G06K9/00;G06K9/34
• 代理公司: 杭州斯可睿專利事務(wù)所有限公司33241
• 代理人: 王利強(qiáng)

1.一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的多任務(wù)車輛逆向行駛視覺檢測(cè)系統(tǒng)，其特征在于：包括安裝在城市道路上的攝像機(jī)、交通云服務(wù)器和道路車輛逆向行駛檢測(cè)系統(tǒng)；

所述的攝像機(jī)用于獲取城市各道路上的視頻數(shù)據(jù)，配置在道路的上方，通過網(wǎng)絡(luò)將道路上的視頻圖像數(shù)據(jù)傳輸給所述的交通云服務(wù)器；

所述的交通云服務(wù)器用于接收從所述的攝像機(jī)所獲得的道路視頻數(shù)據(jù)，并將其遞交給所述的道路車輛逆向行駛檢測(cè)系統(tǒng)進(jìn)行違章檢測(cè)并對(duì)違章車輛身份識(shí)別，最后將檢測(cè)結(jié)果合并現(xiàn)場(chǎng)抓拍圖像自動(dòng)生成違章檢測(cè)報(bào)告保存在云服務(wù)器中；

所述的道路車輛逆向行駛檢測(cè)系統(tǒng)包括道路及行車方向定制模塊、基于Faster R-CNN車輛和黃線檢測(cè)模塊、光流法車輛運(yùn)動(dòng)方向檢測(cè)模塊、車輛逆向行駛判定模塊、車輛類型識(shí)別模塊、車牌定位和識(shí)別模塊和違章報(bào)告生成模塊；

所述的道路及行車方向定制模塊用于定制在攝像機(jī)視場(chǎng)內(nèi)道路的車道，在視頻圖像中根據(jù)實(shí)際道路上的行車線及行車方向畫出虛擬車道，虛擬車道標(biāo)志出車輛的行駛方向；

所述的Faster R-CNN是一個(gè)多任務(wù)的深度卷積神經(jīng)網(wǎng)絡(luò)，在該網(wǎng)絡(luò)中首先實(shí)現(xiàn)了對(duì)道路上的車輛和黃線的檢測(cè)定位，然后對(duì)違章車輛的類型進(jìn)行識(shí)別，接著對(duì)違章車輛的車牌進(jìn)行定位和識(shí)別，檢測(cè)定位識(shí)別共享同一個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)的卷積層。

2.如權(quán)利要求1所述的基于深度卷積神經(jīng)網(wǎng)絡(luò)的多任務(wù)車輛逆向行駛視覺檢測(cè)系統(tǒng)，其特征在于：所述的基于Faster R-CNN車輛和黃線檢測(cè)模塊用于檢測(cè)在視頻圖像中的所有車輛和道路上的黃線，具體做法是采用深度卷積神經(jīng)網(wǎng)絡(luò)快速分割出道路上的機(jī)動(dòng)車輛和黃線并給出這些車輛和黃線在道路上所占的空間位置信息；

使用的機(jī)動(dòng)車分割及定位由兩個(gè)模型組成，一個(gè)模型是生成RoI的選擇性搜索網(wǎng)絡(luò)；另一個(gè)模型是Faster R-CNN機(jī)動(dòng)車目標(biāo)和黃線檢測(cè)網(wǎng)絡(luò)；

所述的選擇性搜索網(wǎng)絡(luò)，即RPN；RPN網(wǎng)絡(luò)將一個(gè)任意尺度圖像作為輸入，輸出矩形目標(biāo)建議框的集合，每個(gè)框包含4個(gè)位置坐標(biāo)變量和一個(gè)得分；所述的目標(biāo)建議框的目標(biāo)指的是機(jī)動(dòng)車輛對(duì)象和黃線對(duì)象；

對(duì)每個(gè)建議框是目標(biāo)/非目標(biāo)的估計(jì)概率，是用二分類的softmax層實(shí)現(xiàn)的分類層；k個(gè)建議框被相應(yīng)的k個(gè)稱為anchor的建議框參數(shù)化；

每個(gè)anchor以當(dāng)前滑動(dòng)窗口中心為中心，并對(duì)應(yīng)一種尺度和長(zhǎng)寬比，使用3種尺度和3種長(zhǎng)寬比，這樣在每一個(gè)滑動(dòng)位置就有k＝9個(gè)anchor；

為了訓(xùn)練RPN網(wǎng)絡(luò)，給每個(gè)anchor分配一個(gè)二進(jìn)制的標(biāo)簽，以此來標(biāo)注該anchor是不是目標(biāo)；然后分配正標(biāo)簽給這兩類anchor：(I)與某個(gè)真正目標(biāo)包圍盒，即Ground Truth，GT有最高的IoU，即Interse-ction-over-Union，交集并集之比，重疊的anchor；(II)與任意GT包圍盒有大于0.7的IoU交疊的anchor；注意到一個(gè)GT包圍盒可能給多個(gè)anchor分配正標(biāo)簽；分配負(fù)標(biāo)簽給與所有GT包圍盒的IoU比率都低于0.3的anchor；非正非負(fù)的anchor對(duì)訓(xùn)練目標(biāo)沒有任何作用，則棄用；

遵循Faster R-CNN中的多任務(wù)損失，最小化目標(biāo)函數(shù)；對(duì)一個(gè)圖像的損失函數(shù)定義為：

L({pi},{ti})=1NckΣiLcls(pi,pi*)+λ1NregΣipi*Lreg(ti,ti*)---(1)]]>

這里，i是一個(gè)anchor的索引，p_i是anchor是第i目標(biāo)的預(yù)測(cè)概率，如果anchor為正，GT標(biāo)簽就是1，如果anchor為負(fù)，就是0；t_i是一個(gè)向量，表示預(yù)測(cè)的包圍盒的4個(gè)參數(shù)化坐標(biāo)，是與正anchor對(duì)應(yīng)的GT包圍盒的坐標(biāo)向量；λ是一個(gè)平衡權(quán)重，N_cls是cls項(xiàng)的歸一化值為mini-batch的大小N_reg是reg項(xiàng)的歸一化值為anchor位置的數(shù)量；分類損失函數(shù)L_cls是兩個(gè)類別，即機(jī)動(dòng)車輛目標(biāo)與非機(jī)動(dòng)車輛目標(biāo)和黃線目標(biāo)與道路背景的對(duì)數(shù)損失：

Lcls(pi,pi*)=-log[pi*pi+(1-pi*)(1-pi)]---(2)]]>

式中，L_cls為分類損失函數(shù)，P_i為anchor是第i目標(biāo)的預(yù)測(cè)概率；P_i^*為真正目標(biāo)包圍盒的第i目標(biāo)的預(yù)測(cè)概率；

對(duì)于回歸損失函數(shù)L_reg，用以下函數(shù)定義：

Lreg=(ti,ti*)=R(ti-ti*)---(3)]]>

式中，L_reg為回歸損失函數(shù)，R是魯棒的損失函數(shù)，用公式(4)計(jì)算smooth L₁；

smoothL1(x)=0.5x2if|x|<1|x|-0.5otherwise,---(4)]]>

式中，smooth_L1為smooth L₁損失函數(shù)，x為變量；

Faster R-CNN網(wǎng)絡(luò)，在輸入圖像經(jīng)過深度卷積神經(jīng)網(wǎng)絡(luò)后可以得到特征圖，依據(jù)特征圖以及RPN網(wǎng)絡(luò)則可以得到相應(yīng)的RoIs，最后則通過RoI池化層；其中RoI，即感興趣區(qū)域，指的就是機(jī)動(dòng)車的區(qū)域和道路上的黃線區(qū)域；

對(duì)于Faster R-CNN網(wǎng)絡(luò)，輸入是N個(gè)特征映射和R個(gè)RoI；N個(gè)特征映射來自于最后一個(gè)卷積層，每個(gè)特征映射的大小都是w×h×c；

每個(gè)RoI是一個(gè)元組(n,r,c,h,w),其中，n是特征映射的索引，n∈(0,1,2,...,N-1)，r,c是左上角坐標(biāo)，h,w分別是高和寬；

輸出則由最大池化得到的特征映射；將原圖中的RoI與特征圖中的塊對(duì)應(yīng)起來；將特征圖下采樣為固定大小，然后再傳入全連接。