[發(fā)明專利]基于快速深度神經(jīng)網(wǎng)絡(luò)和移動智能設(shè)備的盲人交通路口輔助方法

有效

• 申請?zhí)枺?/td>: 202011531293.8
• 申請日: 2020-12-23
• 公開（公告）號: CN112674998B
• 公開（公告）日: 2022-04-22
• 發(fā)明（設(shè)計）人: 何堅;劉新遠;魏鑫;王欽
• 申請（專利權(quán)）人: 北京工業(yè)大學
• 主分類號: A61H3/06
• 分類號: A61H3/06;A61F9/08;G06V10/44;G06V10/56;G06V10/82;G06V20/54;G06N3/08
• 代理公司: 北京思海天達知識產(chǎn)權(quán)代理有限公司 11203
• 代理人: 劉萍

1.基于快速深度神經(jīng)網(wǎng)絡(luò)和移動智能設(shè)備的盲人交通路口輔助方法，其特征在于：

(1)手機指引盲人到斑馬線位置等候綠燈

首先依靠手機內(nèi)置的GPS/北斗傳感器得到盲人精確位置，提示盲人設(shè)置好的目的地，并以此在電子地圖中確定交通路口的通行路線；利用手機內(nèi)置的磁力傳感器確定盲人的行走方向，判斷該行走方向是否沿著規(guī)劃好的路線，如果不是，則利用語音的形式指導盲人調(diào)整方向；Q-DNN網(wǎng)絡(luò)有效檢測出圖片中的斑馬線位置，將盲人身前區(qū)域劃分為梯形區(qū)域，如果該斑馬線沒有處于梯形區(qū)域內(nèi)，則語音指導盲人前往該斑馬線處；

最后需要計算盲人行走方向和斑馬線方向的角度，判斷盲人是否正對著斑馬線；先將Q-DNN網(wǎng)絡(luò)檢測出的斑馬線區(qū)域截取成單獨的圖片進行分析；考慮到斑馬線其特點為等間隔且平行，邊緣顏色對比度強烈，因而采用Canny邊緣檢測算法和Hough變換實現(xiàn)斑馬線的方向檢測；

先使用Canny算法提取斑馬線的邊緣，一共有4個步驟：

第1，使用加權(quán)平均法將RGB圖像變?yōu)榛叶葓D；將RGB三個分量以不同的權(quán)值進行加權(quán)平均；如計算公式如下：

R＝G＝B＝(ω_RR+ω_GG+ω_BB)/3 (1)

其中，ω_R、ω_G、ω_B分別為R、G、B的權(quán)值，取不同的值會形成不同的灰度圖像；其中ω_R＝0.299、ω_G＝0.587、ω_B＝0.114；

第2，使用高斯濾波去噪，以便減少噪聲對檢測的影響；用一個高斯矩陣乘以每一個像素點及其鄰域，取其帶權(quán)重的平均值作為最后的灰度值；計算公式如下：

其中，f(m,n)表示位置(m,n)的像素點的灰度值，σ是高斯分布的標準差，采用大小3*3，σ＝0.8的高斯濾波器模板對灰度圖進行去噪；

第3，計算圖像梯度，圖像梯度也就是像素值變化最強的地方，采用一階偏導水平和垂直方向的差分G_x和G_y來計算出梯度的增幅G和方向θ，計算公式如(3)和(4)所示；

第4，滯后閾值：通過設(shè)置兩個閾值V₁＝300和V₂＝400，當梯度幅值高于V₂時保留為確定的邊界，當梯度幅值小于V₁時則不認為是邊界，選擇舍棄；如果是介于V₁和V₂的，就需要判斷該像素值的邊緣像素是否有大于V₂的，如果有則保留，反之舍棄；這一步確定所提取的邊界中哪些是真正的邊界；

接下來通過霍夫變換提取斑馬線邊緣中較長的直線，其目的是獲取斑馬線的斜率、長度、條數(shù)以及間隔；霍夫變換基于點-線的對偶性，即在圖像空間中同一條直線y＝kx+b上的點對應(yīng)在參數(shù)空間中是相交的直線，相交于點(k,b)；

根據(jù)霍夫變換提取出的直線，得到多條近似平行的斑馬線直線，通過和這些平行直線做垂直，得到多條角度近似的直線；這樣利用獲得的斑馬線行走方向和當前盲人的行走方向，得到他們之間的方向夾角θ；

根據(jù)公式(5)計算出平均角度根據(jù)角度就指導盲人調(diào)整自己的方向，保證盲人走在斑馬線正確的方向上；

其中，角度θ_i是第i條垂直線與盲人行走方向的角度，m代表垂直線個數(shù)；

(2)快速深度神經(jīng)網(wǎng)絡(luò)Q-DNN架構(gòu)

Q-DNN架構(gòu)一共分為4個部分；第1部分是Input輸入端，該部分將移動智能設(shè)備采集的圖片調(diào)整像素；第2部分是Backbone骨干網(wǎng)絡(luò)，負責提取圖片特征，該網(wǎng)絡(luò)使用CSP結(jié)構(gòu)加強特征的提取能力；第3部分是Neck，該部分采用空間金字塔池化SPP(Spatial PyramidPooling)模塊和FPN(Feature Pyramid Network)+PAN(Path Aggregation Network)結(jié)構(gòu)實現(xiàn)Backbone特征的采用多尺度提取與融合；最后是Prediction預測模塊，該模塊輸出3個不同尺度的特征圖，并采用CIOU_Loss作為損失函數(shù)來求解網(wǎng)絡(luò)最優(yōu)參數(shù)；

4個部分的詳細描述如下：

1)Input輸入端，首先在輸入神經(jīng)網(wǎng)絡(luò)時，先自適應(yīng)調(diào)整圖像的尺寸，將圖像調(diào)整為正方形；

2)Backbone骨干網(wǎng)絡(luò)，Backbone骨干網(wǎng)絡(luò)借鑒了CSP(Cross Stage Paritial)結(jié)構(gòu)和殘差網(wǎng)絡(luò)(ResNet)思想，由3個conv1_X卷積模塊組成；conv1_X卷積模塊中的X代表模塊中的殘差組件(Res unit)數(shù)量，Backbone中有1個conv1_1和2個conv1_3，conv1_1模塊有1個Res unit，conv1_2模塊就有2個Res unit；conv1_X的具體結(jié)構(gòu)為：一組卷積層conv，卷積層后面帶有一組Batch Normalization和激活函數(shù)Relu，激活函數(shù)Relu均采用Leaky_relu；

接著借鑒了CSP結(jié)構(gòu)，設(shè)計了X個殘差組件Res unit連接1個conv和另一個conv做concat張量拼接操作；張量拼接是為了擴充兩個張量的維度，輸出后再連接1組BN+Relu；采用CSP結(jié)構(gòu)先將基礎(chǔ)層的特征映射劃分為兩部分，然后通過跨階段層次結(jié)構(gòu)將它們合并，在減少了計算量的同時保證準確率；Backbone網(wǎng)絡(luò)最后再接一個SPP模塊提取特征，最后做concat操作將特征整合在一起；

3)Neck部分，包括FPN+PAN 2個模塊；FPN+PAN模塊中FPN層通過自頂向下方式提取圖片的語義特征，通過上采樣的操作，將深層特征的維度擴展到淺層特征維度，再進行張量拼接，

PAN層通過自底向上提取圖片中的位置特征；通過下采樣的方式，將高維特征的維度降低與低維特征concat拼接完成融合；

4)Prediction部分，最終輸出三組不同維度N的矩陣；每個網(wǎng)格生成B個預測的邊界框?qū)W(wǎng)格中的目標進行檢測，即每個網(wǎng)格有B個由anchors值預測生成的邊界框以及表明該網(wǎng)格是否包含目標的置信度CS，以綜合反映基于當前模型的邊界框內(nèi)存在目標的可能性和預測目標位置的準確性；

其中，Pr(Object)表示網(wǎng)格內(nèi)是否包含目標的中心點，如果包含，則為1；反之為0，是交并比，用于表示網(wǎng)格預測生成的邊界框與物體真實的邊界框面積的交并比；

每個邊界預測框包含5個參數(shù)[x,y,w,h,confidence]，[x,y]代表目標中心點在網(wǎng)格內(nèi)的坐標，[w,h]代表預測邊界框的寬和高，而confidence則表示預測邊界框和該物體真實邊界框的交并比，每個網(wǎng)格對應(yīng)一個預測是否包含某類目標情況的預測值C_i，其表達式為

C_i＝Pr(Class_i|Object) (7)

其中，Class_i表示第i個類別，該公式的意思是在Pr(Object)的基礎(chǔ)上判斷邊界預測框?qū)儆诘趇個類別的概率，當該框的Pr(Object)是0，那么預測值C_i就是0；如果是1，那么預測該框物體屬于第i類的概率；

通過使用Q-DNN網(wǎng)絡(luò)識別出紅綠燈的形狀及其位置信息；

(3)紅綠燈狀態(tài)判斷

紅綠燈的分類在HSI空間的H子空間進行；

統(tǒng)計實際拍攝樣本中的紅色信息，將每張樣本圖片先轉(zhuǎn)換至HSI顏色空間，并獲取圖片中每個像 素的H顏色值；其次，設(shè)置一個顏色的計數(shù)器，分別對相應(yīng)顏色值的計數(shù)器進行累加；最后，統(tǒng)計顏色數(shù)量的直方圖，直方圖中顏色數(shù)量最集中在哪個范圍，就判斷是紅綠信號燈中對應(yīng)顏色的燈亮。