[發(fā)明專利]一種面向RGBD數(shù)據(jù)流的相機(jī)位姿估計(jì)方法

有效

• 申請?zhí)枺?/td>: 201611046495.7
• 申請日: 2016-11-23
• 公開（公告）號(hào): CN106780576B
• 公開（公告）日: 2020-03-17
• 發(fā)明（設(shè)計(jì)）人: 齊越;韓尹波;王晨;李宏毅
• 申請（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號(hào): G06T7/33
• 分類號(hào): G06T7/33;G06T7/70
• 代理公司: 北京科迪生專利代理有限責(zé)任公司 11251
• 代理人: 楊學(xué)明;顧煒

本發(fā)明涉及一種面向RGBD數(shù)據(jù)流的相機(jī)位姿估計(jì)方法，包括構(gòu)建三維點(diǎn)云映射圖、三維點(diǎn)云映射圖的配準(zhǔn)兩個(gè)部分。首先將深度數(shù)據(jù)進(jìn)行濾波等預(yù)處理操作，然后根據(jù)相機(jī)內(nèi)參將預(yù)處理后的深度圖像構(gòu)建三維點(diǎn)云映射圖；根據(jù)上一幀的相機(jī)位姿，采用投影映射算法對兩幀三維點(diǎn)云映射圖進(jìn)行對應(yīng)點(diǎn)匹配，然后對點(diǎn)到平面的距離誤差函數(shù)作能量優(yōu)化，估計(jì)兩幀點(diǎn)云間變換矩陣的六個(gè)參數(shù)；根據(jù)上一幀的相機(jī)位姿估計(jì)當(dāng)前幀的相機(jī)位姿，迭代上述過程優(yōu)化得到最終的相機(jī)位姿。本發(fā)明能夠在現(xiàn)有的移動(dòng)設(shè)備上實(shí)時(shí)運(yùn)行，并能夠在輸入數(shù)據(jù)分辨率較低時(shí)也能得到良好的結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺與計(jì)算機(jī)圖形圖像處理領(lǐng)域，具體地說是一種面向RGBD數(shù)據(jù)流的相機(jī)實(shí)時(shí)位姿估計(jì)方法，該方法可在輸入數(shù)據(jù)分辨率較低、深度數(shù)據(jù)存在空洞和噪聲、設(shè)備運(yùn)算能力較低的情況下實(shí)時(shí)地估計(jì)相機(jī)位姿，對于SLAM和實(shí)時(shí)三維重建技術(shù)的研究有著重要意義。

背景技術(shù)

隨著深度傳感器的普及和三維重建技術(shù)的發(fā)展，近年來基于深度數(shù)據(jù)的三維模型重建的研究正在興起。與傳統(tǒng)基于RGB數(shù)據(jù)的三維重建相比，深度數(shù)據(jù)提供了場景的三維信息，極大地提高了三維重建的可行性和精度。而相機(jī)位姿的估計(jì)在三維重建等相關(guān)應(yīng)用場景中起到了至關(guān)重要的作用。

目前在三維重建中相機(jī)位姿估計(jì)方法可以分為以下三類：一是基于RGB圖像的方法，這類方法大多利用RGB圖像進(jìn)行特征點(diǎn)匹配，然后估計(jì)兩幅圖像的變換矩陣，由于沒有深度信息，這類方法估計(jì)的變換矩陣精度較低；二是基于深度圖像的方法，或是基于RGBD的方法，這類方法借助深度數(shù)據(jù)提供的三維信息，進(jìn)行三維點(diǎn)云配準(zhǔn)，精度相對較高；三是基于慣性傳感器的方法，這類方法利用加速度計(jì)、電子羅盤和陀螺儀等慣性導(dǎo)航設(shè)備，有的也結(jié)合視覺估計(jì)相機(jī)位姿，魯棒性和精度一般較高，但對硬件設(shè)備的需求較高。

上述相機(jī)位姿估計(jì)方法有的耗時(shí)較大，比如特征點(diǎn)的提取，能量方程的優(yōu)化等步驟，有的對輸入數(shù)據(jù)的質(zhì)量要求較高，如光照一致、分辨率較高等，通常難以在移動(dòng)設(shè)備等運(yùn)算效率較低的平臺(tái)上達(dá)到實(shí)時(shí)性的要求。

發(fā)明內(nèi)容

為克服上述缺點(diǎn)，本發(fā)明的目的在于根據(jù)RGBD數(shù)據(jù)流的特點(diǎn)，結(jié)合三維重建的需求，提供一種相機(jī)位姿實(shí)時(shí)估計(jì)方法，其能夠在現(xiàn)有的移動(dòng)設(shè)備上實(shí)時(shí)運(yùn)行，并能夠在輸入數(shù)據(jù)分辨率較低時(shí)也能得到良好的結(jié)果。

為了達(dá)到上述目的，本發(fā)明提出了一種面向RGBD數(shù)據(jù)流的相機(jī)位姿實(shí)時(shí)估計(jì)方法，其特征在于包括以下步驟：

步驟(1)、對原始RGBD數(shù)據(jù)流中的深度數(shù)據(jù)作預(yù)處理操作，得到平滑的深度數(shù)據(jù)；同時(shí)對原始RGBD數(shù)據(jù)流中的RGB圖像去模糊；

步驟(2)、對平滑的深度數(shù)據(jù)，根據(jù)相機(jī)內(nèi)部參數(shù)，將所述深度數(shù)據(jù)中的每一個(gè)像素點(diǎn)的深度轉(zhuǎn)化為相機(jī)坐標(biāo)系下的三維坐標(biāo)；利用相鄰像素的三維坐標(biāo)值計(jì)算每一個(gè)像素對應(yīng)的三維點(diǎn)云的法向量；由所述三維坐標(biāo)和法向量構(gòu)成三維點(diǎn)云映射圖；

步驟(3)、對于當(dāng)前幀和上一幀的兩組三維點(diǎn)云映射圖，利用當(dāng)前估計(jì)的相機(jī)位姿和上一幀的相機(jī)位姿，將當(dāng)前幀三維點(diǎn)云映射圖中每一個(gè)像素的三維點(diǎn)云坐標(biāo)P1轉(zhuǎn)化到上一幀相機(jī)坐標(biāo)系下的坐標(biāo)，再利用相機(jī)內(nèi)部參數(shù)投影到像素坐標(biāo)系下，獲得上一幀三維點(diǎn)云映射圖中對應(yīng)像素坐標(biāo)的點(diǎn)云數(shù)據(jù)P2；將P1與P2分別計(jì)算在世界坐標(biāo)系下的三維坐標(biāo)和法向量以及顏色值，其中三維坐標(biāo)的距離、法向量的夾角及顏色的差值均在設(shè)定閾值范圍內(nèi)的對應(yīng)點(diǎn)對視為匹配；

步驟(4)、將兩幀三維點(diǎn)云映射圖之間的相機(jī)變換矩陣表示為六個(gè)參數(shù)，根據(jù)點(diǎn)到平面的距離誤差函數(shù)，利用步驟(3)所得的對應(yīng)點(diǎn)對構(gòu)造系數(shù)矩陣，求解所述六個(gè)參數(shù)的線性方程組，將所述六個(gè)參數(shù)轉(zhuǎn)化為當(dāng)前估計(jì)的兩幀三維點(diǎn)云映射圖之間的相機(jī)變換矩陣；

步驟(5)、根據(jù)步驟(4)所得的兩幀三維點(diǎn)云映射圖之間的相機(jī)變換矩陣，及上一幀的相機(jī)位姿，估計(jì)當(dāng)前幀的相機(jī)位姿，再將估計(jì)的當(dāng)前相機(jī)位姿代回到步驟(3)中，迭代步驟(3)～(4)直到設(shè)定次數(shù)或誤差在設(shè)定范圍內(nèi)。