[發明專利]基于卷積神經網絡的雙目視覺障礙物檢測系統及方法

有效

• 申請號: 201710697239.2
• 申請日: 2017-08-15
• 公開（公告）號: CN107506711B
• 公開（公告）日: 2020-06-30
• 發明（設計）人: 馬國軍;胡穎;夏健;衛春軍;鄭威
• 申請（專利權）人: 江蘇科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 樓高潮

1.一種基于卷積神經網絡的雙目視覺障礙物檢測系統的檢測方法，基于的檢測系統由相連接的圖像采集模塊和障礙物檢測模塊組成；其中所述的圖像采集模塊，用于采集場景中的左圖像和右圖像；所述的障礙物檢測模塊用于對采集的圖像數據進行相應的數據處理，獲取最終精確的障礙物區域；其中所述圖像采集模塊為兩個水平平行放置的型號為Pike F-100的工業攝像機，并采用IEEE-1394b接口通過采集卡將圖像數據傳輸給計算機進行后續處理；所述障礙檢測模塊為配有NVIDIAGTX 1070的GPU的計算機；其特征在于，所述的檢測方法包括如下步驟：

(1)從圖像采集模塊獲取雙目圖像，并對雙目圖像進行預處理，消除圖像中噪聲；

(2)標定圖像采集模塊，獲取圖像采集模塊內參與畸變參數，對步驟(1)獲取的雙目圖像進行校正處理；

(3)設計孿生卷積神經網絡生成精確雙目圖像的視差圖；

(4)利用改進的V視差法對步驟(3)獲取的視差圖處理，從而檢測圖像中的障礙物區域；

其中，步驟(3)所述的設計孿生卷積神經網絡生成精確雙目圖像的視差圖的具體方法，包括：

a)設計孿生卷積神經網絡結構，其左右分支參數共享，所述孿生卷積神經網絡由特征提取子網絡和特征分類子網絡組成；其中特征提取子網絡左右分支能夠分別從輸入的圖像方塊和圖像長條中提取對應的特征描述；特征分類子網絡將提取的左右分支特征描述作點積運算，得到視差搜索范圍內待匹配像素點的相似性得分，然后作為softmax層的輸入得到視差概率分布；

其中，特征提取子網絡均由卷積層構成，卷積層中的卷積核采用間隔傳遞信息的方式，同時各層使用BatchNormalization技術和PRELU激活函數，最后一層卷積層不使用激活函數；

b)樣本裁剪；根據KITTI數據集中真實視差數據，在左圖像中選取具有真實視差的像素點p(x_i,y_i)，提取以該像素點為中心的圖像塊；在右圖像中選取像素點q，使其坐標為(x_i,y_i)，并以q為中心選擇圖像塊；根據視差搜索范圍，在右圖像中選擇以q為中心的圖像方塊右邊界左側圖像長條，以此方法完成樣本裁剪；

c)標準化樣本數據，構建訓練集；將步驟b)裁剪的圖像塊灰度值變換到[-1,1]范圍內，以此作為網絡的輸入；

d)訓練孿生卷積神經網絡；采用自適應矩估計的隨機梯度下降算法(Adam)來訓練由步驟a)設計的孿生卷積神經網絡；

e)視差圖計算；取雙目圖像對，采用步驟c)對其標準化，運用由步驟d)訓練好的網絡模型提取左右圖像中像素點特征描述，分別記作S_L(p)和S_R(q)；將S_L(p)和S_R(q)作點積運算得到圖像對相似性得分，取相反數作為匹配代價：

C_CNN(p,d)＝-s(＜S_L(p),S_R(q)＞)

其中，s(＜S_L(p),S_R(q)＞)表示圖像對相似性得分；最后，在視差搜索范圍內，選擇匹配代價最小的點作為匹配點進行視差選擇，進而生成視差圖；

步驟(4)所述的利用改進V視差法對步驟(3)獲取的視差圖處理，從而檢測圖像中的障礙物區域的具體方法，包括：

f)采用Prewitt算子計算視差圖列方向的梯度，并保留梯度為負值位置的視差，濾除障礙物像素點，生成濾波后的視差圖；

g)對由步驟f)生成的濾波后視差圖統計每一行像素相同灰度值個數生成V視差圖I₁；

h)搜索V視差圖I₁中的每一行最大值并保留，其余的像素點灰度值置0，生成最大值V視差圖I₂；

i)設定閾值T，將I₂中大于T的像素灰度值置1，其余置0，生成僅包含道路信息的V視差二值圖I₃，閾值T的計算公式為：

式中，x_i為I₂中各像素值；N為I₂中像素總個數；1{x_i≠0}表示x_i不等于0時取1，否則取0；

j)運用hough直線檢測方法提取I₃中道路直線；

k)利用直線兩點方程計算步驟j)提取的道路直線在V視差圖中圖像坐標系的斜率k和截距b；

l)按照光柵掃描法，從下往上從左往右逐點掃描視差圖D(x,y,d)，對每個像素點計算f＝kd+b，其中d為視差值，f為視差圖像素點投影在V視差圖的縱軸坐標；

m)當(f-y)＞T₁，則視差圖中像素點投影在V視差圖中路面直線上方，即高于路面，則判定該像素點為障礙點；

n)重復步驟l)、m)，直至完全掃描 視差圖，得到圖像中障礙物區域。