[發(fā)明專利]基于三維點(diǎn)云分割的雙目視覺(jué)障礙物檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201410146864.4
• 申請(qǐng)日: 2014-04-14
• 公開(kāi)（公告）號(hào): CN103955920B
• 公開(kāi)（公告）日: 2017-04-12
• 發(fā)明（設(shè)計(jì)）人: 袁華;曾日金;莫建文;陳利霞;張彤;首照宇;歐陽(yáng)寧;趙暉
• 申請(qǐng)（專利權(quán)）人: 桂林電子科技大學(xué);桂林宇輝信息科技有限責(zé)任公司
• 主分類號(hào): G06T7/11
• 分類號(hào): G06T7/11;G06T17/00
• 代理公司: 桂林市華杰專利商標(biāo)事務(wù)所有限責(zé)任公司45112
• 代理人: 巢雄輝

技術(shù)領(lǐng)域

本發(fā)明涉及自主移動(dòng)機(jī)器人和自動(dòng)駕駛等基于雙目立體視覺(jué)障礙物自動(dòng)檢測(cè)領(lǐng)域，具體是基于三維點(diǎn)云分割的雙目視覺(jué)障礙物檢測(cè)方法。

背景技術(shù)

雙目立體視覺(jué)是計(jì)算機(jī)視覺(jué)的一個(gè)重要分支，這種視覺(jué)直接模擬人類雙眼處理景物的方式，簡(jiǎn)便可靠，在許多領(lǐng)域均極具應(yīng)用價(jià)值，如機(jī)器人導(dǎo)航與航測(cè)、三維測(cè)量、智能交通及虛擬現(xiàn)實(shí)等。雙目立體視覺(jué)是由不同位置的兩臺(tái)或者一臺(tái)攝像機(jī)經(jīng)過(guò)移動(dòng)或旋轉(zhuǎn)拍攝同一幅場(chǎng)景，通過(guò)計(jì)算空間點(diǎn)在兩幅圖像中的視差，獲得該點(diǎn)的三維坐標(biāo)值。在自主移動(dòng)機(jī)器人和自動(dòng)駕駛等領(lǐng)域的研究中，最基本條件是要求機(jī)器人或自動(dòng)駕駛車配備有視覺(jué)裝置。該視覺(jué)系統(tǒng)應(yīng)能完成類似人眼的基本功能，為路徑的規(guī)劃提供可靠的視覺(jué)信息。障礙物的目標(biāo)檢測(cè)和距離信息的獲取是自主移動(dòng)機(jī)器人和自動(dòng)駕駛中的關(guān)鍵部分。基于雙目立體視覺(jué)的障礙物檢測(cè)的關(guān)鍵在于：（1）雙目圖像對(duì)的立體匹配，計(jì)算三維點(diǎn)云；（2）障礙物目標(biāo)的提取，即識(shí)別出障礙物位置和大小。通常自主移動(dòng)機(jī)器人和自動(dòng)駕駛等應(yīng)用環(huán)境復(fù)雜，受光學(xué)失真和噪聲、平滑表面的鏡面反射、投影縮減、透視失真、低紋理、重復(fù)紋理、透明物體和重疊和非連續(xù)區(qū)域因素的影響，無(wú)法保證通過(guò)立體匹配計(jì)算可得到稠密的視差圖。另外，在復(fù)雜的道路環(huán)境下，僅依靠道路顏色經(jīng)驗(yàn)值或道路邊線檢測(cè)來(lái)對(duì)單幅圖像道路檢測(cè)的正確性不高，無(wú)法直接應(yīng)用到實(shí)際場(chǎng)合中。

隨著對(duì)機(jī)器視覺(jué)的不斷深入研究，目前已有不少高效且能獲得較稠密視差圖的立體匹配算法應(yīng)用到實(shí)際場(chǎng)景當(dāng)中，如三維重建、智能交通、智能檢測(cè)等。圖像分割是把圖像分成若干個(gè)特定的、具有獨(dú)特性質(zhì)的區(qū)域并提出感興趣目標(biāo)的技術(shù)和過(guò)程，它是由圖像處理到圖像分析的關(guān)鍵步驟。研究人員已不斷改進(jìn)原有的彩色圖像分割方法并把其它學(xué)科的一些新理論和新方法用于圖像分割，提出了不少新的適應(yīng)特定場(chǎng)合的分割方法。

發(fā)明內(nèi)容

本發(fā)明的目的是要提供一種基于三維點(diǎn)云分割的雙目視覺(jué)障礙物檢測(cè)方法，該方法在三維點(diǎn)云上初步分割出路面點(diǎn)云和高于地面的障礙物點(diǎn)云，再結(jié)合彩色圖像分割算法融合判決，最終確定障礙物。

實(shí)現(xiàn)本發(fā)明目的的技術(shù)方案是：

一種基于三維點(diǎn)云分割的雙目立體視覺(jué)的障礙物自動(dòng)檢測(cè)方法，包括如下步驟：

（1）通過(guò)不同位置的兩臺(tái)攝像機(jī)獲取兩路彩色圖像，利用立體標(biāo)定方法對(duì)雙目攝像機(jī)進(jìn)行標(biāo)定，計(jì)算兩個(gè)攝像機(jī)的內(nèi)外參數(shù)和相對(duì)位置關(guān)系，根據(jù)這些參數(shù)分別對(duì)兩個(gè)攝像機(jī)進(jìn)行消除畸變和行（或列）對(duì)準(zhǔn)，使兩路彩色圖像的成像原點(diǎn)坐標(biāo)一致，得到校正后的雙目彩色視圖。由傳感器獲取或預(yù)先確定攝像機(jī)相對(duì)路面的俯仰角和高度；

（2）對(duì)步驟（1）校正后得到的雙目彩色視圖，選擇其中一幅視圖作為基準(zhǔn)圖。利用立體匹配算法對(duì)基準(zhǔn)圖進(jìn)行匹配計(jì)算，得到初步的視差圖。對(duì)基準(zhǔn)圖進(jìn)行彩色圖像分割，得到顏色相近的圖塊。根據(jù)步驟（1）獲得的攝像機(jī)相對(duì)路面位置關(guān)系數(shù)據(jù)，計(jì)算點(diǎn)云分割的閾值，包括在一定精度下可檢測(cè)到障礙物的最近距離、最遠(yuǎn)距離、最大高度和最大寬度。

（3）在步驟（2）計(jì)算得到的視差圖后，利用步驟（1）計(jì)算得到兩個(gè)攝像機(jī)相對(duì)位置關(guān)系數(shù)據(jù)（重投影矩陣）進(jìn)行視差圖三維重構(gòu)，計(jì)算出三維點(diǎn)云。

（4）根據(jù)步驟（1）獲取的攝像機(jī)相對(duì)地面的位置數(shù)據(jù)，校正由步驟（3）計(jì)算得出的三維點(diǎn)云，使路面點(diǎn)云相對(duì)于攝像機(jī)的高度一致。

（5）對(duì)步驟（4）校正后的三維點(diǎn)云進(jìn)行檢測(cè)出路面高度（路面相對(duì)攝像機(jī)的高度），由步驟（2）計(jì)算的分割閾值分割出障礙物、路面和未知點(diǎn)云。

（6）融合步驟（5）分割的點(diǎn)云和步驟（2）對(duì)基準(zhǔn)圖圖像分割的圖塊，確定障礙物、路面和未知區(qū)域，并標(biāo)記顯示出來(lái)。

上述整個(gè)過(guò)程，所述的兩個(gè)攝像機(jī)是始終保持同規(guī)格的，即像素、焦距、光圈等性能相同或接近,考慮到影響立體匹配計(jì)算的因素，盡量選擇高清晰度的攝像機(jī)。兩個(gè)攝像機(jī)的相對(duì)位置和焦距是固定的，即一經(jīng)標(biāo)定不再改變兩攝像機(jī)的相對(duì)位置和焦距。兩個(gè)攝像機(jī)相與路面的俯仰角度和高度可以固定，也可以變動(dòng)。步驟（1）中兩個(gè)攝像頭的分辨率綜合設(shè)備的計(jì)算性能而確定，通常可采用640x480或1027x768等分辨率。標(biāo)定攝像機(jī)可采用人工標(biāo)定、平面棋盤標(biāo)定或圓（平面圓或平行圓）標(biāo)定等，計(jì)算出切向畸變、徑向畸變、焦距、成像原點(diǎn)、校正映射矩陣和重投影矩陣。校正映射用于校正兩個(gè)攝像機(jī)的彩色視圖，使兩幅圖像成像原點(diǎn)坐標(biāo)一致，兩攝像頭光軸平行、左右成像平面共面、對(duì)極線行或列對(duì)齊。攝像機(jī)相對(duì)路面的位置包括俯仰角和高度，其中高度為可選項(xiàng)。