[發明專利]非對稱核卷積神經網絡的雙目視覺障礙物檢測系統及方法

有效

• 申請號: 201810466118.1
• 申請日: 2018-05-16
• 公開（公告）號: CN108648161B
• 公開（公告）日: 2020-09-01
• 發明（設計）人: 馬國軍;胡穎;鐘捷;曾慶軍;王彪;鄭威
• 申請（專利權）人: 江蘇科技大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/33;G06N3/08;G06N3/04
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 樓高潮

本發明公開了一種非對稱核卷積神經網絡的雙目視覺障礙物檢測系統及檢測方法。該系統由圖像采集模塊、立體匹配模塊和障礙物檢測模塊三個部分組成，圖像采集模塊采集雙目圖像，傳輸給立體匹配模塊處理得到視差圖，再傳輸給障礙物檢測模塊進行障礙檢測，得到精確的障礙物區域。本發明的非對稱核卷積神經網絡的雙目視覺障礙物檢測方法包括：首先將采集的原始雙目圖像做校正處理，得到水平對其的雙目圖像；再設計非對稱核卷積神經網絡用于計算匹配代價，進而計算視差圖；最后利用點云圖法檢測圖像中的障礙物區域。本發明的障礙物檢測系統及其方法具有較快的檢測速度以及良好的障礙物檢測精度。

技術領域

本發明屬于雙目視覺圖像處理技術領域，具體是涉及一種基于非對稱核卷積神經網絡的雙目視覺障礙物檢測系統及檢測方法。

背景技術

機器人是一種能夠模擬人類或其他動物行為的一種設備。目前，機器人作為一種智能化設備常見于智能家居、自動化工廠和水下等應用場合中。其中，障礙物檢測是機器人的一項關鍵技術，利用雙目視覺檢測障礙物是其中的一種方法。

雙目視覺障礙物檢測的關鍵問題之一是立體匹配技術，其目的是找出兩幅圖像中相對應的兩個相似點，從而實現視差選擇。然而，目前常見的立體匹配方法在匹配速度和匹配效果上不能夠很好平衡，匹配效果較好的方法，往往需要大量的運算時間，不能夠滿足機器人使用要求。

近些年來，深度學習快速發展，并用于解決很多計算機視覺方面的問題。其中，卷積神經網絡用于立體匹配技術中，雖然該網絡結構能有較好的匹配結果，但是網絡結構設計臃腫，匹配速度不理想。本發明針對匹配速度問題，對網絡結構進行改進設計，設計一種非對稱核卷積神經網絡的障礙物檢測系統和檢測方法，具有較快的檢測速度以及良好的檢測精度

發明內容

本發明的目的是針對機器人雙目視覺的障礙物檢測，提供一種非對稱核卷積神經網絡的雙目視覺障礙物檢測系統和檢測方法。

本發明利用一種非對稱卷積神經網絡，學習并計算左右視圖中待匹配圖塊的匹配代價，并使用十字交叉聚合的方式進行單個像素代價聚合，能有效快速的獲取雙目圖像的視差圖。非對稱結構網絡結構不僅具有傳統卷積神經網絡特征提取性能好，魯棒性好的優點，而且其采用非對稱卷積結構，使用更少的參數獲取圖像特征，極大的降低計算量，減少計算時間。

為實現上述目的，本發明通過以下技術方案予以實現，

一種非對稱核卷積神經網絡的雙目視覺障礙物檢測系統，由依次相連接的圖像采集模塊、立體匹配模塊和障礙物檢測模塊組成。其中所述的圖像采集模塊用于采集場景中的左圖像和右圖像，其中左右圖像均為光學圖像；所述的立體匹配模塊用于對采集的圖像進行相應的數據處理，獲得對應的稠密視差圖；所述的障礙物檢測模塊對獲得的稠密視差圖進行后續處理，獲得最終障礙物區域。

進一步，所述圖像采集模塊采用型號為MT9V034的雙目相機，其中雙目相機的分辨率為752×480，幀率為20fps，視差角度為150°。水平固定，用于采集前方場景雙目圖像，并通過USB接口將圖像傳輸給立體匹配模塊進行處理。

進一步，所述立體匹配模塊配由一臺高性能GPU服務器組成，其中GPU型號為NVIDIAGTX 1070,顯存為8GB，用于加速非對稱核卷積神經網絡的立體匹配過程。立體匹配模塊與障礙物檢測模塊采用網線連接，將匹配結果傳輸給障礙物檢測模塊進一步處理。

進一步，所述障礙物檢測模塊由CPU為i5-6500，12GB內存的計算機構成，用于處理立體匹配模塊得到的數據，獲取障礙物區域。

為實現上述目的，本發明采用的另一技術方案是：

一種非對稱核卷積神經網絡的雙目視覺障礙物檢測方法，具體包括如下步驟：

步驟1：從圖像采集模塊獲取雙目圖像，并對原始圖像進行預處理，消除圖像中噪聲；