[發明專利]基于深度卷積神經網絡的交通擁堵視覺檢測系統

在審

• 申請號: 201710440987.2
• 申請日: 2017-06-13
• 公開（公告）號: CN107730881A
• 公開（公告）日: 2018-02-23
• 發明（設計）人: 湯一平;王輝;錢小鴻;陳才君
• 申請（專利權）人: 銀江股份有限公司
• 主分類號: G08G1/01
• 分類號: G08G1/01
• 代理公司: 杭州斯可睿專利事務所有限公司33241
• 代理人: 王利強

1.一種基于深度卷積神經網絡的交通擁堵視覺檢測系統，其特征在于：包括安裝在城市道路上的攝像機、交通云服務器和道路交通擁堵檢測系統；

所述的攝像機用于獲取城市各道路上的視頻數據，配置在道路的上方，通過網絡將道路上的視頻圖像數據傳輸給所述的交通云服務器；

所述的交通云服務器用于接收從所述的攝像機所獲得的道路視頻數據，并將其遞交給所述的道路交通擁堵檢測系統進行檢測和識別，最后將檢測結果保存在云服務器中并以WebGIS的方式進行發布以便實現交通的控制、誘導和現場交警的快速應對；

所述的道路交通擁堵檢測系統包括道路及行車方向定制模塊、道路擁堵檢測模塊和道路擁堵狀況發布模塊；

所述的道路及行車方向定制模塊用于定制在攝像機視場內道路的車道，在視頻圖像中根據實際道路上的行車線及行車方向畫出虛擬車道，虛擬車道以左向右進行排列，命名最左的車道為1車道，接著與此相鄰的右邊車道為2車道，…,根據車道的數量N規定最右邊的車道為N車道；

所述的道路擁堵檢測模塊，包括了基于Fast R-CNN車輛檢測單元、光流法靜止車輛檢測單元、按車道統計靜止車輛單元和道路擁堵計算單元。

2.如權利要求1所述的基于深度卷積神經網絡的交通擁堵視覺檢測系統，其特征在于：所述的基于Fast R-CNN車輛檢測單元用于檢測在視頻圖像中的所有車輛，具體做法是采用深度卷積神經網絡快速分割出道路上的機動車輛并給出這些車輛在道路上所占的空間位置信息；

使用的機動車分割及定位由兩個模型組成，一個模型是生成RoI的選擇性搜索網絡；另一個模型是Fast R-CNN機動車目標檢測網絡；

所述的選擇性搜索網絡，即RPN；RPN網絡將一個任意尺度圖像作為輸入，輸出矩形目標建議框的集合，每個框包含4個位置坐標變量和一個得分；所述的目標建議框的目標指的是機動車輛對象；

對每個建議框是目標/非目標的估計概率，是用二分類的softmax層實現的分類層；k個建議框被相應的k個稱為anchor的建議框參數化；

每個anchor以當前滑動窗口中心為中心，并對應一種尺度和長寬比，使用3種尺度和3種長寬比，這樣在每一個滑動位置就有k＝9個anchor；

為了訓練RPN網絡，給每個anchor分配一個二進制的標簽，以此來標注該anchor是不是目標；然后分配正標簽給這兩類anchor：(I)與某個真正目標包圍盒，即Ground Truth，GT有最高的IoU，即Interse-ction-over-Union，交集并集之比，重疊的anchor；(II)與任意GT包圍盒有大于0.7的IoU交疊的anchor；注意到一個GT包圍盒可能給多個anchor分配正標簽；分配負標簽給與所有GT包圍盒的IoU比率都低于0.3的anchor；非正非負的anchor對訓練目標沒有任何作用，則棄用；

有了這些定義，遵循Fast R-CNN中的多任務損失，最小化目標函數。對一個圖像的損失函數定義為：

L({pi},{ti})=1NckΣiLcls(pi,pi*)+λ1NregΣipi*Lreg(ti,ti*)---(1)]]>

這里，i是一個anchor的索引，p_i是anchor是第i目標的預測概率，如果anchor為正，GT標簽就是1，如果anchor為負，就是0；t_i是一個向量，表示預測的包圍盒的4個參數化坐標，是與正anchor對應的GT包圍盒的坐標向量；λ是一個平衡權重，N_cls是cls項的歸一化值為mini-batch的大小，N_reg是reg項的歸一化值為anchor位置的數量，分類損失函數L_cls是兩個類別，即機動車輛對象目標與非機動車輛目標的對數損失：

Lcls(pi,pi*)=-log[pi*pi+(1-pi*)(1-pi)]---(2)]]>

式中，L_cls為分類損失函數，P_i為anchor是第i目標的預測概率；P_i^*為真正目標包圍盒的第i目標的預測概率；

對于回歸損失函數L_reg，用以下函數定義：

Lreg=(ti,ti*)=R(ti-ti*)---(3)]]>

式中，L_reg為回歸損失函數，R是魯棒的損失函數，用公式(4)計算smoothL₁；

smoothL1(x)=0.5x2if|x|<1|x|-0.5otherwise,---(4)]]>

式中，smooth_L1為smooth L₁損失函數，x為變量；

Fast R-CNN網絡，在輸入圖像經過深度卷積神經網絡后可以得到特征圖，依據特征圖以及RPN網絡則可以得到相應的RoIs，最后則通過RoI池化層；其中RoI，即感興趣區域，指的就是機動車的區域；

對于Fast R-CNN網絡，輸入是N個特征映射和R個RoI；N個特征映射來自于最后一個卷積層，每個特征映射的大小都是w×h×c；

每個RoI是一個元組(n,r,c,h,w),其中，n是特征映射的索引，n∈(0,1,2,...,N-1)，r,c是左上角坐標，h,w分別是高和寬；

輸出則由最大池化得到的特征映射；將原圖中的RoI與特征圖中的塊對應起來；將特征圖下采樣為固定大小，然后再傳入全連接。