[發(fā)明專利]在成對(duì)的立體圖像中檢測(cè)物體的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201510232293.0
• 申請(qǐng)日: 2015-05-08
• 公開（公告）號(hào): CN105096307B
• 公開（公告）日: 2018-01-02
• 發(fā)明（設(shè)計(jì)）人: 劉洺堉;O·圖茲爾
• 申請(qǐng)（專利權(quán)）人: 三菱電機(jī)株式會(huì)社
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06T7/593;G06K9/62
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司11127
• 代理人: 呂俊剛,劉久亮

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺，更具體地講，涉及在立體圖像中檢測(cè)物體。

背景技術(shù)

許多計(jì)算機(jī)視覺應(yīng)用使用通過立體相機(jī)獲取的立體圖像來檢測(cè)物體。立體相機(jī)通常具有多個(gè)鏡頭和傳感器。通常，鏡頭之間的軸內(nèi)距離約與眼睛之間的距離相同以提供交疊視野。

圖1示出用于基于立體的物體檢測(cè)的傳統(tǒng)系統(tǒng)。立體相機(jī)101獲取立體圖像102。檢測(cè)方法可包括以下步驟：立體成像100、成本體積(cost volume)確定110、深度/視差圖估計(jì)120和物體檢測(cè)130。

基于立體的物體檢測(cè)的大多數(shù)傳統(tǒng)方法依賴于交疊區(qū)域120中的每像素深度信息。此步驟通常被稱作深度/范圍圖估計(jì)。此步驟可通過確定視差值(即，兩個(gè)圖像中的對(duì)應(yīng)像素的平移)、確定深度圖來實(shí)現(xiàn)。然后深度圖可用于物體檢測(cè)130，例如，深度圖的梯度方向直方圖(HoG)用于物體描述。一種方法估計(jì)子圖像區(qū)域中的主要視差，并且使用相對(duì)視差值的共現(xiàn)直方圖來進(jìn)行物體檢測(cè)。

深度/范圍/視差圖估計(jì)是具有挑戰(zhàn)的問題。局部方法存在深度確定不準(zhǔn)確的問題，而全局方法需要可觀的計(jì)算資源并且不適合于實(shí)時(shí)應(yīng)用。

多種方法通過使用關(guān)注區(qū)域生成的立體提示(stereo cue)來避免深度圖確定步驟。例如，一種方法確定標(biāo)記潛在物體位置的stixel圖。各個(gè)stixel由相對(duì)于相機(jī)的3D位置來定義，并且垂直地豎立在地平面上。然后將基于彩色圖像內(nèi)容的檢測(cè)器應(yīng)用于所述位置以檢測(cè)物體。

美國(guó)公布20130177237使用范圍圖來確定關(guān)注區(qū)域，并且使用基于強(qiáng)度直方圖的分類器來檢測(cè)物體。

關(guān)注區(qū)域方法無法直接應(yīng)用于物體檢測(cè)。關(guān)注區(qū)域方法必須與其它物體檢測(cè)器結(jié)合應(yīng)用。另外，當(dāng)關(guān)注區(qū)域沒有覆蓋物體時(shí)，無疑會(huì)缺失檢測(cè)。

發(fā)明內(nèi)容

本發(fā)明的實(shí)施方式提供一種在立體圖像中檢測(cè)物體的方法。從圖像計(jì)算成本體積。然后，直接對(duì)從成本體積獲得的特征應(yīng)用物體檢測(cè)。所述檢測(cè)使用從訓(xùn)練特征學(xué)習(xí)的T個(gè)決策樹分類器(Adaboost)。

本發(fā)明避免了現(xiàn)有技術(shù)的易于發(fā)生錯(cuò)誤并且計(jì)算上復(fù)雜的深度圖估計(jì)步驟，得到準(zhǔn)確且高效的物體檢測(cè)器。所述方法更加適合于嵌入式系統(tǒng)，因?yàn)樗恍枰獮楂@得良好的深度圖所需的復(fù)雜的優(yōu)化模塊。另外，所述方法搜索輸入圖像中的所有子圖像以檢測(cè)物體。這避免了存在于關(guān)注區(qū)域生成技術(shù)中的缺失檢測(cè)問題。

所述檢測(cè)準(zhǔn)確，因?yàn)樗龇椒山柚罅康挠?xùn)練數(shù)據(jù)并且利用機(jī)器學(xué)習(xí)過程。其在檢測(cè)準(zhǔn)確度方面勝過關(guān)注區(qū)域生成技術(shù)。

附圖說明

圖1是傳統(tǒng)的基于立體的物體檢測(cè)系統(tǒng)的框圖；

圖2是根據(jù)本發(fā)明的實(shí)施方式的基于立體的物體檢測(cè)系統(tǒng)的框圖；

圖3是圖2的基于立體的物體檢測(cè)系統(tǒng)的物體檢測(cè)模塊的框圖；

圖4是根據(jù)本發(fā)明的實(shí)施方式的學(xué)習(xí)基于立體的物體檢測(cè)器的方法的框圖。

圖5是根據(jù)本發(fā)明的實(shí)施方式的成本體積確定的示意圖；

圖6是根據(jù)本發(fā)明的實(shí)施方式的學(xué)習(xí)的特征的示意圖；以及

圖7是占據(jù)子圖像的大部分和小部分的物體的示意圖。

具體實(shí)施方式

圖2示出根據(jù)本發(fā)明的實(shí)施方式的在一對(duì)立體圖像200中檢測(cè)物體201的方法和系統(tǒng)。從這一對(duì)立體圖像生成(210)成本體積211。然后選擇并提取(215)特征向量216。然后，將物體檢測(cè)器220應(yīng)用于特征向量體積以檢測(cè)物體。物體檢測(cè)器使用從訓(xùn)練圖像特征231學(xué)習(xí)的分類器230。在檢測(cè)到物體之后，可對(duì)物體進(jìn)行定位，即，可確定物體在圖像中的位置。如本領(lǐng)域中已知的，所述方法可在連接到存儲(chǔ)器和輸入/輸出接口的處理器250中執(zhí)行。

本發(fā)明基于這樣的認(rèn)識(shí)：深度圖中可用的深度信息在成本體積中也可用，因?yàn)樯疃葓D是從成本體積獲得的。

本發(fā)明的直接使用成本體積的檢測(cè)器220理論上能夠基于深度圖使任何檢測(cè)器的性能匹配。此外，成本體積是比傳統(tǒng)深度圖更豐富的表示。深度圖僅提供各個(gè)像素的深度，而成本體積提供立體圖像中的各個(gè)像素可具有的潛在深度范圍(包括真實(shí)深度)的匹配成本。因此，檢測(cè)器使用從成本體積直接獲得的特征可訪問更多的深度信息，并且實(shí)現(xiàn)更好的性能。

如圖3所示，本發(fā)明的一個(gè)實(shí)施方式包括成本體積生成210、特征提取310、物體檢測(cè)和定位320、學(xué)習(xí)的區(qū)別特征330以及學(xué)習(xí)的物體分類模型340。定位確定在哪里檢測(cè)物體。

圖4示出用于學(xué)習(xí)區(qū)別特征的機(jī)器學(xué)習(xí)過程以及學(xué)習(xí)的物體分類模型。從包括成對(duì)的訓(xùn)練立體圖像的訓(xùn)練數(shù)據(jù)400選擇并學(xué)習(xí)(410)特征。

成本體積生成