[發(fā)明專利]對(duì)準(zhǔn)數(shù)據(jù)的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201380034680.2
• 申請(qǐng)日: 2013-06-20
• 公開(kāi)（公告）號(hào): CN104395932B
• 公開(kāi)（公告）日: 2017-04-26
• 發(fā)明（設(shè)計(jì)）人: 田口裕一;S·拉姆阿里加姆;簡(jiǎn)用典;馮晨
• 申請(qǐng)（專利權(quán)）人: 三菱電機(jī)株式會(huì)社
• 主分類號(hào): G06T19/00
• 分類號(hào): G06T19/00
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司11127
• 代理人: 呂俊剛,劉久亮

技術(shù)領(lǐng)域

本發(fā)明通常涉及三維(3D)數(shù)據(jù)的對(duì)準(zhǔn)，更具體地，涉及彼此對(duì)準(zhǔn)3D點(diǎn)和3D面，用于實(shí)時(shí)重建應(yīng)用。

背景技術(shù)

3D重建

場(chǎng)景的交互實(shí)時(shí)3D重建用在許多應(yīng)用中，例如機(jī)器人學(xué)、增強(qiáng)現(xiàn)實(shí)、醫(yī)學(xué)成像以及計(jì)算機(jī)視覺(jué)。實(shí)時(shí)的稀疏和密集的3D重建可以使用諸如照相機(jī)的無(wú)源傳感器。然而，無(wú)源傳感器在重建無(wú)紋理區(qū)域上有困難。

為了重建無(wú)紋理區(qū)域，可以使用有源3D傳感器。例如，用于微軟Xbox的Kinet傳感器使用IR模式，用于實(shí)時(shí)從傳感器的視點(diǎn)獲取作為深度映射的3D數(shù)據(jù)。

其他問(wèn)題涉及處理時(shí)間、存儲(chǔ)器需求以及準(zhǔn)確性。由于視野和分辨率，3D傳感器通常產(chǎn)生場(chǎng)景的部分重建。期望提供一種能夠結(jié)合連續(xù)部分深度映射和場(chǎng)景模型的準(zhǔn)確快速的對(duì)準(zhǔn)方法。慣性傳感器容易漂移。因此，為了準(zhǔn)確對(duì)準(zhǔn)，需要依賴RGB(紋理)圖像或深度映射的特征。另外，深度映射通常是有噪聲的，沒(méi)有任何更高層次的空間約束。而且，點(diǎn)云需要非常大的存儲(chǔ)器，并且難以壓縮。

3D-3D對(duì)準(zhǔn)

局部

3D數(shù)據(jù)的對(duì)齊或?qū)?zhǔn)是計(jì)算機(jī)視覺(jué)應(yīng)用中的根本問(wèn)題，該問(wèn)題可以利用多種方法解決。對(duì)準(zhǔn)方法可以是局部的或全局的。局部方法應(yīng)當(dāng)以良好的初始化開(kāi)始，并利用相對(duì)較小的迭代移動(dòng)對(duì)準(zhǔn)兩個(gè)3D點(diǎn)云。這類似于收斂到具有良好初始解的全局解的非線性最小化方法。最常見(jiàn)的局部方法是迭代最近點(diǎn)(ICP)方法，該方法利用閉合形式的解迭代地確定相應(yīng)的3D點(diǎn)和移動(dòng)。

全局

全局方法通常考慮整個(gè)3D點(diǎn)云，識(shí)別某些關(guān)鍵的幾何特征(基元)，遍及點(diǎn)云匹配這些特征，并使用利用隨機(jī)抽樣一致(RANSACA)過(guò)程的對(duì)應(yīng)關(guān)系的最小集來(lái)生成最佳假設(shè)。通過(guò)全局方法獲得的粗糙對(duì)準(zhǔn)后面通常跟隨局部非線性細(xì)化。與局部方法不同，全局方法不要求初始化。然而，全局方法可能遇到不正確和不充分的對(duì)應(yīng)關(guān)系。通常用于全局方法中的幾何基元要么是點(diǎn)、線或面。

已知有利用同構(gòu)和異構(gòu)對(duì)應(yīng)關(guān)系的幾種全局對(duì)準(zhǔn)方法。例如，考慮到點(diǎn)到點(diǎn)、線到線、面到面、點(diǎn)到線、點(diǎn)到面或者線到面對(duì)應(yīng)關(guān)系，確定對(duì)準(zhǔn)的閉合形式的解是可能的。一種方法利用分支界定法從點(diǎn)到點(diǎn)、點(diǎn)到線以及點(diǎn)到面的對(duì)應(yīng)關(guān)系中獲取全局最優(yōu)解。另一種方法利用分支界定法來(lái)獲取最佳對(duì)應(yīng)關(guān)系以及針對(duì)點(diǎn)到點(diǎn)對(duì)準(zhǔn)問(wèn)題的變換。

使用3D傳感器的SLAM

在移動(dòng)機(jī)器人學(xué)中，某些基于3D傳感器的方法利用同步定位和映射(SLAM)系統(tǒng)，用于確定傳感器的移動(dòng)以及重建場(chǎng)景結(jié)構(gòu)。這些方法通常使用諸如點(diǎn)基元、線基元或面基元的幾何特征。提供3D數(shù)據(jù)的平面片段的3D傳感器，例如2D激光掃描儀或超聲波傳感器，可以被用于確定平面的、三個(gè)自由度(DOF)的運(yùn)動(dòng)。提供完整的3D點(diǎn)云的3D傳感器，例如結(jié)構(gòu)光掃描儀、安裝在活動(dòng)舞臺(tái)上的2D激光掃描儀以及Kinect傳感器可以用于確定六個(gè)DOF運(yùn)動(dòng)。

RGB-D映射從RGB圖像中提取關(guān)鍵點(diǎn)，利用深度映射以3D的形式向后投射這些點(diǎn)，并利用三個(gè)點(diǎn)到點(diǎn)對(duì)應(yīng)關(guān)系來(lái)確定利用RANSAC過(guò)程的姿勢(shì)的初始估算，該初始估算進(jìn)一步利用ICP方法進(jìn)行細(xì)化。

另一種方法在具有3D傳感器的SLAM系統(tǒng)中使用三個(gè)面到面對(duì)應(yīng)關(guān)系。該方法利用面之間的幾何約束解決對(duì)應(yīng)問(wèn)題。

對(duì)于使用面和線段兩者作為基元的SLAM系統(tǒng)，另一種方法使用較小視野(FOV)的3D傳感器和較大FOV的2D激光掃描儀。該方法旨在用于解決局部對(duì)準(zhǔn)問(wèn)題而無(wú)法解決全局對(duì)準(zhǔn)的順序的SLAM系統(tǒng)。

KinectFusion通過(guò)利用粗到細(xì)ICP方法將當(dāng)前深度映射對(duì)準(zhǔn)為從全局截短符號(hào)距離函數(shù)(TSDF)表示生成的虛擬深度映射。TSDF表示整合對(duì)準(zhǔn)到全局坐標(biāo)系中的全部的在先深度映射，并能夠產(chǎn)生與使用單一圖像相比更高質(zhì)量的深度映射。

已知ICP方法的幾種其他變體，但是這些變體在兩個(gè)3D點(diǎn)云不同時(shí)仍然會(huì)遇到極小值問(wèn)題。僅僅依靠點(diǎn)的對(duì)準(zhǔn)方法或SLAM系統(tǒng)在無(wú)紋理區(qū)域或具有重復(fù)圖樣的區(qū)域中遇到對(duì)應(yīng)關(guān)系不充分或者不正確?；诿娴募夹g(shù)在包括數(shù)量不足的非平行平面的場(chǎng)景上遇到簡(jiǎn)并問(wèn)題。

利用諸如Kinect傳感器的3D傳感器，由于在深度間斷點(diǎn)周?chē)木哂性肼暤幕騺G失的深度值，難以獲得線對(duì)應(yīng)關(guān)系。

發(fā)明內(nèi)容

本發(fā)明的實(shí)施方式提供一種用于在兩個(gè)不同的坐標(biāo)系中對(duì)準(zhǔn)數(shù)據(jù)的方法。該方法利用點(diǎn)和面兩者作為對(duì)準(zhǔn)基元。該方法可被利用3D傳感器的同步定位和映射(SLAM)系統(tǒng)所使用。該SLAM系統(tǒng)是本文的對(duì)準(zhǔn)方法的應(yīng)用。