[發明專利]動態三維成像方法

在審

• 申請號: 202080023405.0
• 申請日: 2020-02-03
• 公開（公告）號: CN113614791A
• 公開（公告）日: 2021-11-05
• 發明（設計）人: O·酷睿柏斯;V·酷睿柏斯-杜蘭特
• 申請（專利權）人: O·酷睿柏斯;V·酷睿柏斯-杜蘭特
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/593
• 代理公司: 北京易光知識產權代理有限公司 11596
• 代理人: 武晨燕

本文公開了一種允許生成呈現被觀察的三維場景的三維數值模型的動態三維成像方法。生成的模型最優地結合(404)來自兩個中間三維數值模型的數據，兩個中間三維數值模型分別通過立體三維重構計算方法(402)和通過學習的三維重構計算方法(403)獲得。此外，生成的每個新模型幫助提高通過學習的三維重構計算方法的整體性能。

技術領域

本發明總體上涉及三維成像。更具體而言，其涉及一種三維成像方法，該方法允許從給定三維場景的多個二維數字圖像動態重構三維數值模型。

背景技術

目前，存在多種能夠生成三維數值模型以呈現三維場景的方法。在這些方法中，所謂的立體重構方法和所謂的學習重構方法對于針對公眾的工業應用來說是特別有吸引力的，因為它們使用來自無源圖像傳感器的二維數字圖像流來重構場景的三維數值模型。

圖1是以簡化的方式示出上述兩種方法共用的步驟的步驟視圖，這些步驟允許由二維數字圖像生成三維數值模型。這些方法以迭代的方式執行，其中每次迭代能夠生成恰當地豐富和完成在之前的迭代過程中建立的三維模型的三維數值模型。

在接收呈現給定的三維場景的一個或多個二維數字圖像的步驟101之后，分別由所謂的位置估計階段和所謂的三維信息估計階段構成步驟102和103。一方面，位置估計階段包括在給定時刻t確定用于獲取二維數字圖像的圖像傳感器相對于在該時刻t已經建立的三維數值模型的位置。以本身已知的方式，該確定通過考慮二維圖像和三維模型兩者優化標準而執行(例如，通過二維或三維切除或者通過優化光度標準)。另一方面，三維信息估計階段包括通過從在相同時刻t接收到的二維圖像通過兩種方法中每種方法所特有的計算式來計算三維數值模型。

最終，在步驟104期間，將在三維重構計算結束時得到的三維信息在考慮圖像傳感器的實際位置的情況下添加到已經建立的三維數值模型。該信息可恰當地改變已經建立的模型的某些特征，以便改善其精度。

在兩種方法共用的這些方面之外，每種方法具有其自身的優點和缺點。

一方面，立體三維重構計算方法不需要在其應用之前的任何信息，并且能夠適用于很多種三維場景。然而，其性能取決于觀察到的特定類型的場景。具體而言，當觀察到的場景的區域沒有紋理或存在反射或遮擋時，該方法的重構性能顯著下降。此外，該方法的一個重要限制在于需要使用至少兩個分開的二維圖像才能夠生成呈現任何三維場景的三維模型。

另一方面，通過學習的三維重構計算方法依賴于特定的算法(例如基于深度神經網絡的算法)來從單個或多個二維數字圖像生成三維數值模型。這些算法可以訓練，也就是說，它們可以由于學習過程而改進性能，在學習過程期間，算法面對與確定的三維模型相關聯的大量變化的二維圖像組。有利地，該方法因此可以無差別地應用到任何類型的場景。其性能實質上僅取決于之前執行的學習的質量以及在該學習期間使用的數據。然而，沒有集成到該學習過程中的目標或場景將僅被不完全地重構，如果有的話。此外，總體上，由該方法生成的三維模型的精度目前還低于由立體三維重構計算方法生成的模型的精度。

文檔WO2018/039269A1公開了一種在增強現實眼鏡上使用多個圖像傳感器的裝置。該裝置使用獲取的二維圖像來經由學習計算方法確定裝置在其環境中的位置，并執行觀察到的場景的動態三維重構。然而，重構三維模型的準確度在該應用中不是問題。還應注意，該裝置使用上述兩種方法的僅一種。

發明內容

本發明的目標在于消除或至少減輕現有技術的全部或部分上述缺點。

為此，本發明的第一方面提出了一種動態三維成像方法，該方法包括由計算單元執行的下列步驟：

-接收呈現被觀察的三維場景的至少兩個二維數字圖像，所述至少兩個二維數字圖像由至少一個確定的圖像傳感器從空間中至少兩個相應位置獲取；

-基于立體三維重構計算方法，從所述二維數字圖像生成與所述被觀察的三維場景相關聯的第一中間三維數值模型；