[發(fā)明專利]基于卷積神經(jīng)網(wǎng)絡(luò)的雙目視覺障礙物檢測系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 201710697239.2
• 申請日: 2017-08-15
• 公開（公告）號: CN107506711B
• 公開（公告）日: 2020-06-30
• 發(fā)明（設(shè)計）人: 馬國軍;胡穎;夏健;衛(wèi)春軍;鄭威
• 申請（專利權(quán)）人: 江蘇科技大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 樓高潮

1.一種基于卷積神經(jīng)網(wǎng)絡(luò)的雙目視覺障礙物檢測系統(tǒng)的檢測方法，基于的檢測系統(tǒng)由相連接的圖像采集模塊和障礙物檢測模塊組成；其中所述的圖像采集模塊，用于采集場景中的左圖像和右圖像；所述的障礙物檢測模塊用于對采集的圖像數(shù)據(jù)進(jìn)行相應(yīng)的數(shù)據(jù)處理，獲取最終精確的障礙物區(qū)域；其中所述圖像采集模塊為兩個水平平行放置的型號為Pike F-100的工業(yè)攝像機(jī)，并采用IEEE-1394b接口通過采集卡將圖像數(shù)據(jù)傳輸給計算機(jī)進(jìn)行后續(xù)處理；所述障礙檢測模塊為配有NVIDIAGTX 1070的GPU的計算機(jī)；其特征在于，所述的檢測方法包括如下步驟：

(1)從圖像采集模塊獲取雙目圖像，并對雙目圖像進(jìn)行預(yù)處理，消除圖像中噪聲；

(2)標(biāo)定圖像采集模塊，獲取圖像采集模塊內(nèi)參與畸變參數(shù)，對步驟(1)獲取的雙目圖像進(jìn)行校正處理；

(3)設(shè)計孿生卷積神經(jīng)網(wǎng)絡(luò)生成精確雙目圖像的視差圖；

(4)利用改進(jìn)的V視差法對步驟(3)獲取的視差圖處理，從而檢測圖像中的障礙物區(qū)域；

其中，步驟(3)所述的設(shè)計孿生卷積神經(jīng)網(wǎng)絡(luò)生成精確雙目圖像的視差圖的具體方法，包括：

a)設(shè)計孿生卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，其左右分支參數(shù)共享，所述孿生卷積神經(jīng)網(wǎng)絡(luò)由特征提取子網(wǎng)絡(luò)和特征分類子網(wǎng)絡(luò)組成；其中特征提取子網(wǎng)絡(luò)左右分支能夠分別從輸入的圖像方塊和圖像長條中提取對應(yīng)的特征描述；特征分類子網(wǎng)絡(luò)將提取的左右分支特征描述作點積運算，得到視差搜索范圍內(nèi)待匹配像素點的相似性得分，然后作為softmax層的輸入得到視差概率分布；

其中，特征提取子網(wǎng)絡(luò)均由卷積層構(gòu)成，卷積層中的卷積核采用間隔傳遞信息的方式，同時各層使用BatchNormalization技術(shù)和PRELU激活函數(shù)，最后一層卷積層不使用激活函數(shù)；

b)樣本裁剪；根據(jù)KITTI數(shù)據(jù)集中真實視差數(shù)據(jù)，在左圖像中選取具有真實視差的像素點p(x_i,y_i)，提取以該像素點為中心的圖像塊；在右圖像中選取像素點q，使其坐標(biāo)為(x_i,y_i)，并以q為中心選擇圖像塊；根據(jù)視差搜索范圍，在右圖像中選擇以q為中心的圖像方塊右邊界左側(cè)圖像長條，以此方法完成樣本裁剪；

c)標(biāo)準(zhǔn)化樣本數(shù)據(jù)，構(gòu)建訓(xùn)練集；將步驟b)裁剪的圖像塊灰度值變換到[-1,1]范圍內(nèi)，以此作為網(wǎng)絡(luò)的輸入；

d)訓(xùn)練孿生卷積神經(jīng)網(wǎng)絡(luò)；采用自適應(yīng)矩估計的隨機(jī)梯度下降算法(Adam)來訓(xùn)練由步驟a)設(shè)計的孿生卷積神經(jīng)網(wǎng)絡(luò)；

e)視差圖計算；取雙目圖像對，采用步驟c)對其標(biāo)準(zhǔn)化，運用由步驟d)訓(xùn)練好的網(wǎng)絡(luò)模型提取左右圖像中像素點特征描述，分別記作S_L(p)和S_R(q)；將S_L(p)和S_R(q)作點積運算得到圖像對相似性得分，取相反數(shù)作為匹配代價：

C_CNN(p,d)＝-s(＜S_L(p),S_R(q)＞)

其中，s(＜S_L(p),S_R(q)＞)表示圖像對相似性得分；最后，在視差搜索范圍內(nèi)，選擇匹配代價最小的點作為匹配點進(jìn)行視差選擇，進(jìn)而生成視差圖；

步驟(4)所述的利用改進(jìn)V視差法對步驟(3)獲取的視差圖處理，從而檢測圖像中的障礙物區(qū)域的具體方法，包括：

f)采用Prewitt算子計算視差圖列方向的梯度，并保留梯度為負(fù)值位置的視差，濾除障礙物像素點，生成濾波后的視差圖；

g)對由步驟f)生成的濾波后視差圖統(tǒng)計每一行像素相同灰度值個數(shù)生成V視差圖I₁；

h)搜索V視差圖I₁中的每一行最大值并保留，其余的像素點灰度值置0，生成最大值V視差圖I₂；

i)設(shè)定閾值T，將I₂中大于T的像素灰度值置1，其余置0，生成僅包含道路信息的V視差二值圖I₃，閾值T的計算公式為：

式中，x_i為I₂中各像素值；N為I₂中像素總個數(shù)；1{x_i≠0}表示x_i不等于0時取1，否則取0；

j)運用hough直線檢測方法提取I₃中道路直線；

k)利用直線兩點方程計算步驟j)提取的道路直線在V視差圖中圖像坐標(biāo)系的斜率k和截距b；

l)按照光柵掃描法，從下往上從左往右逐點掃描視差圖D(x,y,d)，對每個像素點計算f＝kd+b，其中d為視差值，f為視差圖像素點投影在V視差圖的縱軸坐標(biāo)；

m)當(dāng)(f-y)＞T₁，則視差圖中像素點投影在V視差圖中路面直線上方，即高于路面，則判定該像素點為障礙點；

n)重復(fù)步驟l)、m)，直至完全掃描 視差圖，得到圖像中障礙物區(qū)域。