[發(fā)明專利]基于事件相機(jī)與深度相機(jī)的視覺里程計定位方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202111230468.6
• 申請日: 2021-10-22
• 公開（公告）號: CN113888639A
• 公開（公告）日: 2022-01-04
• 發(fā)明（設(shè)計）人: 王一夫;康智文;左一凡;楊家琪
• 申請（專利權(quán)）人: 上海科技大學(xué)
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/33;G06T3/00
• 代理公司: 上海光華專利事務(wù)所(普通合伙) 31219
• 代理人: 倪靜

本發(fā)明的基于事件相機(jī)與深度相機(jī)的視覺里程計定位方法及系統(tǒng)，將事件相機(jī)與深度相機(jī)結(jié)合，利用事件相機(jī)替代一般RGB?D系統(tǒng)中的常規(guī)相機(jī)，通過由事件相機(jī)采集的事件流生成時間表面圖，并將關(guān)鍵幀時刻采集的深度圖投影至事件相機(jī)平面，與生成的關(guān)鍵幀時刻的時間表面圖相結(jié)合，獲得的最近關(guān)鍵幀的局部地圖，再將新生成的時間表面圖與最近關(guān)鍵幀的局部地圖配準(zhǔn)，獲得當(dāng)前時刻相機(jī)相對于最近關(guān)鍵幀的相對位姿以及全局位姿；再根據(jù)相對位姿的值判斷是否需要構(gòu)建新的最近關(guān)鍵幀的局部地圖或者繼續(xù)利用當(dāng)前的最近關(guān)鍵幀的局部地圖進(jìn)行配準(zhǔn)；本發(fā)明不僅具有定位精度高，算法效率高，可實(shí)時處理的優(yōu)點(diǎn)，并且可以在挑戰(zhàn)性的光照條件下正常工作。

技術(shù)領(lǐng)域

本申請涉及計算機(jī)視覺技術(shù)領(lǐng)域，尤其涉及基于事件相機(jī)與深度相機(jī)的視覺里程計定位方法及系統(tǒng)。

背景技術(shù)

近年來，機(jī)器人、無人機(jī)、自動駕駛、VR/AR等產(chǎn)品和技術(shù)持續(xù)火爆，逐步滲透社會生活的各個領(lǐng)域，并對經(jīng)濟(jì)和社會發(fā)展產(chǎn)生重要影響。基于SLAM技術(shù)的即時定位與追蹤能力是上述智能移動設(shè)備感知與認(rèn)知周邊環(huán)境所必須的關(guān)鍵技術(shù)，其重要的學(xué)術(shù)和應(yīng)用價值始終受到學(xué)術(shù)和產(chǎn)業(yè)界的高度重視。

自上世紀(jì)80年代SLAM概念的提出至今。SLAM系統(tǒng)使用的傳感器不斷拓展，由早期的聲吶，到后來的2D/3D激光雷達(dá)，及單目、雙目、RGB-D等各種相機(jī)，SLAM系統(tǒng)一直在綜合各種需求不斷演進(jìn)。盡管基于激光雷達(dá)的定位技術(shù)在無人駕駛行業(yè)中已得到廣泛應(yīng)用，但是視覺相機(jī)憑借便宜、輕便和低功耗的特點(diǎn)及獲取信息豐富、特征區(qū)分度高的優(yōu)勢，使得視覺SLAM在VR/AR、無人機(jī)、室內(nèi)機(jī)器人等小型移動終端上有著其他技術(shù)無法替代的優(yōu)越性。但視覺SLAM也存在諸多不足：如高機(jī)動運(yùn)動場景采集的圖像產(chǎn)生運(yùn)動模糊，固定幀率相機(jī)采集的數(shù)據(jù)存在時延，常規(guī)相機(jī)尚不具備高動態(tài)光照環(huán)境適應(yīng)能力等。因此現(xiàn)有解決方案通常將常規(guī)相機(jī)與其他傳感器相融合，例如慣性測量單元，深度傳感器，激光雷達(dá)等。

值得注意的是，自2010年消費(fèi)級RGB-D相機(jī)問世以來，深度相機(jī)與常規(guī)相機(jī)的組合在室內(nèi)場景的應(yīng)用中非常流行。盡管RGB-D相機(jī)組合可以提供高頻率，高分辨率的深度圖像，顯著提高了單目視覺里程計和SLAM方法的準(zhǔn)確性和魯棒性，但仍然存在以下缺點(diǎn)：

1.大多數(shù)RGB-D相機(jī)解決方案依賴于基于清晰圖像的稀疏特征提取或強(qiáng)度圖像邊緣對齊，盡管它們具有較好的算法收斂性，在光照條件良好時候具有較好的穩(wěn)定性和較高的計算效率，但由于高度依賴于清晰圖像也導(dǎo)致了這些解決方案依舊無法在高動態(tài)運(yùn)動或低光照條件等挑戰(zhàn)性場景進(jìn)行精準(zhǔn)、穩(wěn)定的定位。

2.雖然部分方法僅使用深度圖像而無需依賴清晰的RGB圖像，因此可以在低光照條件下運(yùn)行，但是這些方法需要連續(xù)的高幀率深度圖像，耗電量較大，并且它們通常算法復(fù)雜度高，對計算資源要求很高，通常需要GPU資源才能實(shí)現(xiàn)實(shí)時定位建圖功能。

近年來，一種名為事件相機(jī)的新型動態(tài)視覺傳感器逐漸進(jìn)入人們的視線。與基于幀的傳統(tǒng)相機(jī)不同，事件相機(jī)對像素進(jìn)行獨(dú)立異步處理，當(dāng)一個像素的亮度變化累計達(dá)到閾值即輸出一個事件，并以脈沖形式異步返回。事件相機(jī)具有低延遲(1us)、高動態(tài)范圍(140dB)、低功耗(mW級)的優(yōu)勢，其異步特性和高時間分辨率意味著觸發(fā)的事件模式不容易受到運(yùn)動模糊之類的偽影的影響。此外，事件相機(jī)適用于非常高的動態(tài)范圍，使其具有強(qiáng)大的潛力來應(yīng)對復(fù)雜的照明場景。但是，由于事件數(shù)據(jù)不包含絕對強(qiáng)度信息且高度異步，因此處理事件數(shù)據(jù)需要從計算機(jī)視覺基礎(chǔ)理論入手，構(gòu)造全新的數(shù)學(xué)模型和算法。現(xiàn)有基于事件相機(jī)的視覺里程計和視覺SLAM研究成果仍處于早期階段，主要有以下幾種：將事件相機(jī)和傳統(tǒng)相機(jī)結(jié)合，從常規(guī)相機(jī)圖像中檢測稀疏特征點(diǎn)利用事件數(shù)據(jù)追蹤特征并估計相機(jī)運(yùn)動位姿；將慣性測量單元(IMU)與事件相機(jī)和常規(guī)相機(jī)相結(jié)合，為事件流提供初始運(yùn)動參數(shù)并用事件流進(jìn)行運(yùn)動補(bǔ)償，依此生成輪廓清晰的事件圖進(jìn)而提取特征點(diǎn)并估計相機(jī)運(yùn)動位姿；將兩個有共同視域的事件相機(jī)組成雙目相機(jī)，利用立體視覺幾何約束和左右相機(jī)的事件流估計當(dāng)前場景的深度信息，并通過交替定位和建圖的方式實(shí)現(xiàn)視覺里程計功能。但上述方法具有諸多缺點(diǎn)：