[發明專利]利用事件攝像機同時進行定位和映射

在審

• 申請號: 201780060218.8
• 申請日: 2017-08-24
• 公開（公告）號: CN109791696A
• 公開（公告）日: 2019-05-21
• 發明（設計）人: 亨利·勒貝克;吉耶爾莫·加萊戈·博內特;達維德·斯卡拉穆扎
• 申請（專利權）人: 蘇黎世大學
• 主分類號: G06T7/579
• 分類號: G06T7/579
• 代理公司: 成都超凡明遠知識產權代理有限公司 51258
• 代理人: 魏彥;洪玉姬

本發明涉及一種用于場景的3D重建的方法，其中，事件攝像機(1)沿著場景在軌跡(T)上移動，其中，事件攝像機(1)包括多個像元，該多個像元被配置為僅在事件(e_k)發生所在的時間(t_k)處在場景中存在亮度變化的情況下輸出上述事件，其中，每個事件包括其發生所在的時間(t_k)、檢測到亮度變化的相應像元的地址(x_k，y_k)以及指示亮度變化的符號的極性值(p_k)，其中，由事件攝像機(1)沿著所述軌跡(T)生成的多個連續事件根據事件攝像機(1)的視點(P)被反投射為通過離散化體積(DSI)的觀察射線(R)，該離散化體積在與所述多個事件相關聯的虛擬事件攝像機的參考視點(RV)處，其中，所述離散化體積(DSI)包括體元(V')，并且其中，確定與離散化體積(DSI)相關聯的得分函數f(X)，該得分函數f(X)是穿過具有中心X的相應體元(V')的反投射觀察射線(R)的數量，并且其中，所述得分函數f(X)用于確定在相應體元(V')中是否存在場景的3D重建的3D點。

說明書

本發明涉及用于場景的3D重建(reconstruct，重現)的方法，特別是算法，而且涉及用于執行這種方法/算法的計算機程序和設備。此外，本發明涉及通過將由事件攝像機獲得的事件圖像與模板圖像進行配準來關于現有的半密集3D映射圖(map，貼圖、映像)定位事件攝像機的方法。

傳統的多視圖立體算法/方法的目標是由從已知的攝像機視點拍攝的圖像集合來重建完整的三維(3D)對象模型。

就此而言，本發明的根本問題是提供一種允許以簡單且有效的方式執行場景的3D重建的方法。

該問題通過具有權利要求1的特征的方法解決。本發明的其他方面涉及對應的計算機程序和對應的設備。

根據本發明的方法的優選實施方式在對應的從屬權利要求中陳述并在下面描述。

根據權利要求1，公開了一種用于場景的3D重建的方法，其中，事件攝像機沿著要在三維(3D)中重建的場景在一軌跡上移動，其中，事件攝像機包括多個獨立像元(pixel，像素)，該多個獨立像元被配置為僅在事件(e_k)發生所在的時間(t_k)處在場景中存在亮度變化的情況下輸出該事件，其中，每個事件包括其發生所在的時間(t_k)、檢測到亮度變化的相應像元的地址(例如，坐標)(x_k，y_k)以及指示亮度變化的符號的極性值(p_k)，其中，由事件攝像機沿著所述軌跡生成的多個連續事件根據事件攝像機的視點被反投射(project，投影)為通過離散化體積(也稱為視差空間圖像或DSI)的觀察射線，該離散化體積定位在虛擬事件攝像機的參考視點處，該參考視點選自與所述多個事件相關聯的那些事件攝像機視點，其中，所述離散化體積包括體元(voxel，體素)，并且其中，確定與離散化體積相關聯的得分函數該得分函數f(X)是穿過具有中心X的相應體元的反投射觀察射線的數量，并且其中，所述得分函數f(X)(其也表示為射線密度函數)用于確定在相應體元中是否存在場景的3D重建的3D點。

與根據一組已知視點解決估計密集3D結構的問題的傳統MVS方法不同，根據本發明的方法——也稱為用于基于事件的多視圖立體聲的EMVS——根據事件攝像機特別是根據僅單個事件攝像機利用已知軌跡來估計半密集3D結構。

特別地，根據本發明的方法考究地利用事件攝像機的兩個固有屬性：

(i)其響應場景邊緣的能力，這自然地提供半密集幾何信息而無需任何預處理操作，以及

(ii)其隨著攝像機移動提供連續測量的事實。

盡管其簡單(可以以幾行代碼來實現它)，但是根據本發明的方法/算法能夠產生準確的半密集深度映射圖。特別地，根據本發明的方法在計算上非常有效并且在CPU上實時運行。