[發明專利]利用事件攝像機同時進行定位和映射

在審

• 申請號: 201780060218.8
• 申請日: 2017-08-24
• 公開（公告）號: CN109791696A
• 公開（公告）日: 2019-05-21
• 發明（設計）人: 亨利·勒貝克;吉耶爾莫·加萊戈·博內特;達維德·斯卡拉穆扎
• 申請（專利權）人: 蘇黎世大學
• 主分類號: G06T7/579
• 分類號: G06T7/579
• 代理公司: 成都超凡明遠知識產權代理有限公司 51258
• 代理人: 魏彥;洪玉姬

1.一種用于場景的3D重建的方法，其中，事件攝像機(1)沿著所述場景在軌跡(T)上移動，其中，所述事件攝像機(1)包括多個像元，所述多個像元被配置為僅在事件(e_k)發生所在的時間(t_k)處在所述場景中存在亮度變化的情況下輸出所述事件，其中，每個事件包括其發生所在的時間(t_k)、檢測到所述亮度變化的相應像元的地址(x_k，y_k)以及指示所述亮度變化的符號的極性值(p_k)，其中，由所述事件攝像機(1)沿著所述軌跡(T)生成的多個連續事件根據所述事件攝像機(1)的視點(P)被反投射為通過離散化體積(DSI)的觀察射線(R)，所述離散化體積在與多個事件相關聯的虛擬事件攝像機的參考視點(RV)處，其中，所述離散化體積(DSI)包括體元(V')，并且其中，確定與所述離散化體積(DSI)相關聯的得分函數f(X)，所述得分函數f(X)是穿過具有中心X的相應體元(V')的反投射觀察射線(R)的數量，并且其中，所述得分函數f(X)用于確定在所述相應體元(V')中是否存在所述場景的3D重建的3D點。

2.根據權利要求1所述的方法，其特征在于，所述離散化體積(DSI)具有大小w×h×N_z，其中，w和h是所述事件攝像機在x和y方向上的像元的數量，并且其中，N_z是深度平面的數量，并且其中，特別地，所述離散化體積(DSI)適于所述事件攝像機(1)在所述參考視點(RV)處的視場和透視投射。

3.根據權利要求1或2所述的方法，其特征在于，當對于一體元(V')而言所述得分函數f(X)呈現出局部最大值時，確定在所述體元(V')中存在所述場景的3D點。

4.根據權利要求3所述的方法，其特征在于，通過生成所述參考視點(RV)處的密集深度映射圖Z^*(x，y)和相關聯的置信度映射圖c(x，y)來檢測所述得分函數f(X)的局部最大值，其中，Z^*(x，y)存儲沿著與像元(x，y)對應的體元行的最大得分的位置，并且其中，c(x，y)存儲所述最大得分的值，c(x，y)：＝f(X(x)，Y(y)，Z^*))，并且其中，通過使用所述置信度映射圖c(x，y)選擇像元的子集來從所述映射圖Z^*創建半密集深度映射圖，并且其中，將自適應高斯閾值化應用于所述置信度映射圖c(x，y)，以便生成二元置信度掩模，所述二元置信度掩模選擇所述映射圖Z^*中所述像元的子集的位置，以便產生半密集深度映射圖，其中，如果c(x，y)>T(x，y)，則選擇像元(x，y)，其中，T(x，y)＝c(x，y)*G(x，y)-C，其中，*表示2D卷積，G是高斯核，以及C是恒定偏移量。

5.根據前述權利要求中的一項所述的方法，其特征在于，由所述事件攝像機(1)沿著所述軌跡(T)生成的所述多個連續事件形成由所述事件攝像機(1)沿著所述軌跡(T)生成的事件流的事件子集，其中，所述流被分成多個相繼的事件子集，其中，每個子集包含由所述事件攝像機(1)生成的多個連續事件，其中，每個子集的所述連續事件根據所述事件攝像機(1)的視點(P)被反投射為通過離散化體積(DSI)的觀察射線(R)，所述離散化體積在與相應子集相關聯的虛擬事件攝像機的參考視點(RV)處，其中，相應離散化體積(DSI)包括體元(V')，并且其中，確定與所述相應離散化體積(DSI)相關聯的得分函數f(X)，所述得分函數f(X)是相應子集的穿過所述相應離散化體積(DSI)的具有中心X的相應體元(V')的反投射觀察射線(R)的數量，并且其中，相應得分函數f(X)用于確定在與所述相應子集相關聯的所述相應離散化體積(DSI)的所述相應體元(V')中是否存在所述場景的3D重建的3D點。