[發明專利]基于事件相機與深度相機的視覺里程計定位方法及系統

在審

• 申請號: 202111230468.6
• 申請日: 2021-10-22
• 公開（公告）號: CN113888639A
• 公開（公告）日: 2022-01-04
• 發明（設計）人: 王一夫;康智文;左一凡;楊家琪
• 申請（專利權）人: 上海科技大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/33;G06T3/00
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 倪靜

1.一種基于事件相機與深度相機的視覺里程計定位方法，其特征在于，包括：

獲取由經過標定內外參數的深度相機以及事件相機同步實時采集的深度圖以及事件；

積累毫秒級局部時間內的事件流，并將所述事件流中的各事件沿時間維度投影至虛擬的二維圖像上，以生成當前時刻的時間表面圖；

將生成的當前時刻的時間表面圖與構建的最近關鍵幀的局部地圖進行3D-2D配準，獲得當前時刻相機相對于最近關鍵幀的相對位姿；

根據當前時刻相機相對于最近關鍵幀的相對位姿以及最近關鍵幀的絕對位姿，獲得相機當前時刻的全局位姿；

若所述相對位姿大于設定閾值時，則構建新的最近關鍵幀的局部地圖，用于與新的最近關鍵幀時刻的下一時刻生成的時間表面圖進行3D-2D配準，以獲得新的最近關鍵幀時刻的下一時刻相機相對于新的最近關鍵幀的相對位姿；

若所述相對位姿不大于設定閾值時，則繼續采用該最近關鍵幀的局部地圖與下一時刻生成的時間表面圖進行3D-2D配準，以獲得下一時刻相機相對于該最近關鍵幀的相對位姿；

其中，所述最近關鍵幀的局部地圖的構建方式包括：將所述深度相機在關鍵幀時刻采集的深度圖投影至事件相機平面，并與生成的關鍵幀時刻的時間表面圖相結合，獲得最近關鍵幀的局部地圖。

2.根據權利要求1中所述的基于事件相機與深度相機的視覺里程計定位方法，其特征在于，所述積累毫秒級局部時間內的事件流，并將所述事件流中的各事件沿時間維度投影至虛擬的二維圖像上，以生成當前時刻的時間表面圖的方式包括：

積累毫秒級局部時間內的事件流，并將所述事件流中的各事件沿時間維度投影至虛擬的二維圖像上；

將所述二維圖像上的像素點位置的值高于設定閾值的像素點進行可視化，以生成當前時刻的時間表面圖。

3.根據權利要求2中所述的基于事件相機與深度相機的視覺里程計定位方法，其特征在于，所述將所述深度相機在關鍵幀時刻采集的深度圖投影至事件相機平面，并與生成的關鍵幀時刻的時間表面圖相結合，獲得最近關鍵幀的局部地圖的方式包括：

將與所述事件相機同步的深度相機在關鍵幀時刻采集的深度圖根據所述深度相機以及事件相機之間固定外參數投影至事件相機平面，并基于關鍵幀時刻的時間表面圖，篩選多個像素點，以生成最近關鍵幀的半稠密邊緣輪廓深度圖；

將所述半稠密邊緣輪廓深度圖中的各像素點歸一化，并基于各像素點所對應的深度值，獲得三維點云集合形式的最近關鍵幀的局部地圖。

4.根據權利要求3中所述的基于事件相機與深度相機的視覺里程計定位方法，其特征在于，所述將與所述事件相機同步的深度相機在關鍵幀時刻采集的深度圖投影至事件相機平面，并基于關鍵幀時刻的時間表面圖，篩選多個像素點，以生成最近關鍵幀的半稠密邊緣輪廓深度圖的方式包括：

基于所述深度相機在關鍵幀時刻采集的深度圖的各像素點的深度值，獲得投影至事件相機平面上每個像素點所分別對應的一或多個深度值；

基于投影的事件相機平面上各像素點所分別對應的各深度值，篩選關鍵幀時刻的時間表面圖上的多個像素點，以生成半稠密邊緣輪廓深度圖；其中，所述半稠密邊緣輪廓深度圖中各像素點對應有一深度值。

5.根據權利要求4中所述的基于事件相機與深度相機的視覺里程計定位方法，其特征在于，所述基于投影的事件相機平面上各像素點所分別對應的各深度值，篩選關鍵幀時刻的時間表面圖上的多個像素點，以生成半稠密邊緣輪廓深度圖的方式包括：

基于投影的事件相機平面上各像素點所分別對應的各深度值，篩選所述時間表面圖上的具有深度值的多個像素點；

將篩選的各像素點所對應的各深度值進行前景點識別，以分別選擇一深度值作為篩選的各像素點的深度值，并生成半稠密邊緣輪廓深度圖。