[發(fā)明專利]基于視差與平面擬合的雙分支室外非結(jié)構(gòu)化地形分割網(wǎng)絡(luò)

有效

• 申請?zhí)枺?/td>: 201810577133.3
• 申請日: 2018-06-01
• 公開（公告）號: CN108921852B
• 公開（公告）日: 2021-05-07
• 發(fā)明（設(shè)計）人: 李豪杰;張朋博;王智慧
• 申請（專利權(quán)）人: 大連理工大學(xué)
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06K9/00
• 代理公司: 大連理工大學(xué)專利中心 21200
• 代理人: 溫福雪;侯明遠(yuǎn)

本發(fā)明屬于計算機(jī)視覺技術(shù)領(lǐng)域，提供了一種基于視差與平面擬合的雙分支室外非結(jié)構(gòu)化地形分割網(wǎng)絡(luò)。該方法首先進(jìn)行地面擬合以及地面偏差的計算，并選擇具有幾何特性的視差圖和地平面偏差圖代替彩色圖像作為網(wǎng)絡(luò)輸入。該方法設(shè)計的網(wǎng)絡(luò)體系結(jié)構(gòu)由兩個子網(wǎng)絡(luò)組成：地形分割主網(wǎng)絡(luò)及穩(wěn)定性和適應(yīng)性增強(qiáng)模塊，兩個模塊相輔相成，顯示了良好的地形分割效果，具有很好的魯棒性和環(huán)境適應(yīng)性。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機(jī)視覺技術(shù)領(lǐng)域，具體涉及一種以視差圖與擬合的地平面偏差圖為輸入的面向非結(jié)構(gòu)化室外環(huán)境地形分割的雙分支深度網(wǎng)絡(luò)。

背景技術(shù)

目前，非結(jié)構(gòu)化室外環(huán)境下的自主機(jī)器人導(dǎo)航仍然是一個開放且具有挑戰(zhàn)性的問題。地形分割是機(jī)器人導(dǎo)航的核心任務(wù)之一，是機(jī)器人識別可穿越區(qū)域和避免障礙物的關(guān)鍵。與城市道路不同，非結(jié)構(gòu)化室外環(huán)境下的地形復(fù)雜，具有多種地形類型和障礙物的組合特征。在圖1(a)中，光照條件產(chǎn)生陰影和過飽和的現(xiàn)象，此外，障礙物(樹木、干草)與帶落葉的污垢路面有很高的視覺相似性，這給地形分割帶來了很大的挑戰(zhàn)。

在人類生物視覺系統(tǒng)中，立體視差在場景感知中起著重要的作用，它可以被機(jī)器視覺系統(tǒng)用于自主機(jī)器人導(dǎo)航，因此許多道路分割算法是基于立體視差信息的。Zhu等人(“Stereo vision based traversable region detection for mobile robots usinguv-disparity,”in Control Conference(CCC),2013 32nd Chinese.IEEE,2013,pp.5785–5790.)提出了一種室內(nèi)和城市道路的可穿越區(qū)域檢測算法，該算法引入了u-v視差，(u，v)表示圖像中的像素坐標(biāo)，但是在特征提取和立體匹配過程中的不準(zhǔn)確估計往往會得到帶有空洞和噪聲視差圖(見圖1(b))影響算法性能。因此，在應(yīng)用視差圖時，必須考慮全局信息和局部信息來平滑空洞和削弱噪聲。

隨著深度學(xué)習(xí)技術(shù)的飛速發(fā)展，全卷積網(wǎng)絡(luò)(“Fully convolutional networksfor semantic segmentation,”in Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition,2015,pp.3431–3440.)推動了語義分割的發(fā)展。許多優(yōu)秀的研究基于全卷積網(wǎng)絡(luò)，并進(jìn)一步的改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)，從而提高了公開的標(biāo)準(zhǔn)數(shù)據(jù)集的準(zhǔn)確性，如Cityscapes和KITTI Road。他們在常見且規(guī)整的城市道路或高速公路上表現(xiàn)優(yōu)異，但是在非結(jié)構(gòu)化的自然場景中，由于光照、天氣、路況等變化，會導(dǎo)致模型失效。這是因?yàn)樵谔囟〝?shù)據(jù)集上訓(xùn)練的網(wǎng)絡(luò)不夠靈活，無法適應(yīng)變化的以及未曾出現(xiàn)過的路況。Shashank等人(“Deep CNN with color lines model for unmarked road segmentation,”in IEEEInternational Conference on Image Processing(ICIP 2017),Beijing,2017.)通過條件隨機(jī)場將深度卷積神經(jīng)網(wǎng)絡(luò)與色線模型先驗(yàn)進(jìn)行結(jié)合以適應(yīng)不同的光照條件，但是當(dāng)?shù)缆返念伾咏車沫h(huán)境時，它就失效了。在機(jī)器人導(dǎo)航的實(shí)際應(yīng)用中，場景會隨著時間而變化，為此，有必要研究一種自適應(yīng)的且魯棒的地形分割算法。

Procopio等人(“Learning terrain segmentation with classifier ensemblesfor autonomous robot navigation in unstructured environments,”Journal ofField Robotics,vol.26,no.2,pp.145–175,2009.)通過地面擬合獲得圖像標(biāo)簽，通過計算預(yù)測的地面視差與觀察到的視差之間的差異，閾值直接用于確定圖像中的像素是否屬于地面。在圖1(c)中可見，地平面偏差圖存在一定的噪聲和不連續(xù)性，因此直接閾值分割的結(jié)果不能完全適用。

本發(fā)明受到以上算法的啟發(fā)，針對項(xiàng)目需求，提出一種以視差圖與擬合的地平面偏差圖為輸入的面向非結(jié)構(gòu)化室外環(huán)境地形分割的雙分支深度網(wǎng)絡(luò)。

發(fā)明內(nèi)容