[發明專利]非對稱核卷積神經網絡的雙目視覺障礙物檢測系統及方法

有效

• 申請號: 201810466118.1
• 申請日: 2018-05-16
• 公開（公告）號: CN108648161B
• 公開（公告）日: 2020-09-01
• 發明（設計）人: 馬國軍;胡穎;鐘捷;曾慶軍;王彪;鄭威
• 申請（專利權）人: 江蘇科技大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/33;G06N3/08;G06N3/04
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 樓高潮

1.一種非對稱核卷積神經網絡的雙目視覺障礙物檢測系統，其特征在于：由依次相連接的圖像采集模塊、立體匹配模塊和障礙檢測模塊組成；其中所述的圖像采集模塊，用于采集場景中的左圖像和右圖像；所述的立體匹配模塊對采集的圖像進行處理得到對應的視差圖；所述的障礙物檢測模塊對得到的視差圖進行進一步處理，檢測最終精確的障礙物區域；其中，所述圖像采集模塊采用型號為MT9V034的雙目相機，水平固定，并通過USB接口將圖像傳輸給立體匹配模塊進行后續處理；所述立體匹配模塊為搭載型號NVIDIA GTX 1070的GPU的計算機；所述的非對稱核卷積神經網絡結構的特征提取網絡由兩個并列的非對稱卷積核卷積層疊加而成，再將其結果做點積運算進行匯總并輸出；每個并行特征提取分支，僅有非對稱結構卷積核與傳統卷積神經網絡構成，無池化操作。

2.一種如權利要求1所述的非對稱核卷積神經網絡的雙目視覺障礙物檢測系統的檢測方法，其特征在于，包括如下步驟：

步驟1：從圖像采集模塊獲取雙目圖像，并對原始圖像進行預處理，消除圖像中噪聲；

步驟2：標定圖像采集模塊，獲取圖像采集模塊的內參與畸變參數，對雙目圖像進行雙目校正處理；

步驟3：設計一種非對稱核卷積神經網絡用于快速計算兩個圖塊的相似度，使得神經網絡輸出為相似度得分；

步驟4：構建一種用于步驟3設計的非對稱核卷積神經網絡能使用的訓練數據集，訓練數據集包括真實視差及其對應的左右圖像中的圖塊；

步驟5：使用步驟4構建的數據集，對神經網絡進行迭代訓練，獲得最優參數；

步驟6：將訓練良好的對對稱核卷積神經網絡輸出相似度得分作為匹配代價，并利用十字交叉聚合的方法求取聚合區域內像素點匹配代價的平均值；

步驟7：基于贏者通吃策略擇優選擇視差搜索范圍內視差，并用插值法對結果進行亞像素增強；

步驟8：利用點云圖法對步驟7得到的視差圖進行處理，檢測出障礙物區域；

其中，步驟3所述的非對稱核卷積神經網絡結構的具體設計，特征提取網絡由兩個并列的非對稱卷積核卷積層疊加而成，再將其結果做點積運算進行匯總并輸出；每個并行特征提取分支，僅有非對稱結構卷積核與傳統卷積神經網絡構成，無池化操作；

步驟4所述的構建訓練數據集具體內容是，對具有真實視差的雙目數據集，根據每個像素點的真實視差值，劃分在左圖中對應網絡輸入大小的方塊，和右圖同等寬度且對應視差搜索范圍的圖像長條，并標記該點真實視差；

步驟5所述的訓練非對稱核卷積神經網絡的具體內容：

在訓練階段，網絡的輸出采用Softmax分類器，對網絡權重w最小化互熵損失函數；針對應用場景，修改互熵損失函數為：

其中，

式中，j(w)表示一組樣本的互熵損失；p_i(d_i,w)表示第i個樣本的概率分布；d_i為預測視差值；為真實視差值；λ₁,λ₂,λ₃為預設值；并使用卷積神經網絡優化方法優化損失函數，調整網絡權值w；

步驟6需要將非對稱核卷積神經網絡相似度得分轉換為匹配代價；同時，由于場景圖像中各區域紋理復雜度不同，需要引入自適應窗口的匹配代價聚合窗口；其中，將非對稱核卷積神經網絡計算的相似度得分轉化為匹配代價的具體方法是：

將左右圖像塊特征向量V^L(p)和V^R(p-d)作點積運算得到圖像塊對相似性得分S(p,d)，然后，將該相似性得分取相反數作為圖像對之間的匹配代價C_CNN(p,d)；

C_CNN(p,d)＝-S(p,d)＝-(V^L(p)·V^R(p-d))；

引入自適應窗口聚合單像素的匹配代價的具體方法是：

使用基于十字交叉的聚合窗口生成方法，其核心是根據相鄰像素的顏色和空間位置關系構建自適應窗口；首先，對于當前待匹配像素p，在水平方向和垂直方向分別擴展其領域像素構成一個十字交叉區域，作為聚合窗口的初始骨架，分別用H(p)和V(p)表示；區域的大小由4個方向的臂長確定，并隨著圖像的局部顏色信息自適應的改變；

對于左右圖像中對應的匹配點p^L和利用該方法生成對應的自適應區域U(p^L)和將聯合公共區域作為最終支持區域：

然后，求得支持區域內所有像素的匹配代價，聚合為總的匹配代價：

其中，N為支持區域U_d(p)像素個數；

步驟7采用贏者通吃策略在視差搜索范圍內選擇匹配代價最小點作為視差選擇，獲得視差：

最后引入亞像素增強方法，增加視差的精確度；

步驟8具體采用如下步驟檢測障礙物區域；

1)通過視差圖計算得到點云圖，再通過包圍盒法簡化點云；

2)將簡化后點云投影到地面柵格中，并統計每個投射在每個柵格中散點數目，得到實際點云密度柵格圖；

3)使用無障礙場景擬合出該相機配置條件下理想點云密度柵格圖；

4)通過閾值比較分割出點云密度柵格圖中障礙物所在區域，有公式：

上式表示，如果在柵格圖中實際點云密度與理想點云密度比值大于閾值T_ρ，則判斷為障礙物柵格，否則不是障礙物柵格；

5)使用形態學濾波去除障礙柵格圖中孤立點與連接空洞；

6)將障礙柵格圖重映射回雙目圖像原圖，標記出障礙物區域。