[發明專利]使用光度網格表示的3D對象重建

在審

• 申請號: 202010071801.2
• 申請日: 2020-01-21
• 公開（公告）號: CN111986307A
• 公開（公告）日: 2020-11-24
• 發明（設計）人: O·王;V·金;M·費希爾;E·謝克特曼;C-H·林;B·拉塞爾
• 申請（專利權）人: 奧多比公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06N3/04;G06N3/08
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 酆迅

1.一種在用于編輯數字圖像的數字介質環境中的三維對象重建的計算機實現的方法，所述方法包括：

由至少一個處理器使用對象網格生成神經網絡來生成表示第一對象在三個維度中的形狀的多邊形網格，所述對象網格生成神經網絡被訓練以將表示所述第一對象的二維(2D)數據點集合變換為所述多邊形網格，所述2D數據點集合表示所述第一對象的至少兩個圖像中的彩色像素，所述至少兩個圖像具有不同的相機姿態；

由所述至少一個處理器使用光度目標函數來優化潛在特征向量集合上的所述多邊形網格，以產生所述第一對象的重建表示，所述潛在特征向量集合表示第二對象的預定義形狀；以及

由所述至少一個處理器使得所述第一對象的所述重建表示被輸出到輸出設備。

2.根據權利要求1所述的方法，還包括由所述至少一個處理器來訓練所述對象網格生成網絡，以使用3D計算機輔助繪圖(CAD)模型繪制將所述2D數據點集合變換為所述多邊形網格。

3.根據權利要求1所述的方法，其中所述第二對象是所述第一對象的模型。

4.根據權利要求1所述的方法，其中所述光度目標函數至少部分地表示由所述多邊形網格的至少一個面中的像素所貢獻的光度損失。

5.根據權利要求1所述的方法，其中所述光度目標函數包括將參數化的扭曲函數應用于所述第一對象的所述至少兩個圖像中的像素。

6.根據權利要求1所述的方法，其中所述光度目標函數是：

其中是所述第一對象的第一圖像I_S的多邊形網格V中的扭曲像素坐標x_i，I_T是所述第一對象的第二圖像，V是所述多邊形網格，并且是在所述多邊形網格的所述至少一個面j的投影范圍內的可見像素坐標集合。

7.根據權利要求1所述的方法，其中所述優化包括將縮放懲罰應用于所述優化損失函數。

8.根據權利要求1所述的方法，其中所述輸出設備包括以下中的至少一項：用于顯示所述第一對象的所述重建表示的顯示設備和用于所述第一對象的所述重建表示的3D打印的3D打印機設備。

9.根據權利要求1所述的方法，其中所述輸出設備包括用于存儲所述第一對象的所述重建表示的存儲器設備。

10.一種包括其上具有經編碼的指令的一個或多個非瞬態機器可讀介質的計算機程序產品，所述指令在由至少一個處理器執行時，使得使用光度網格表示的3D對象重建的過程被執行，所述過程包括：

由所述至少一個處理器使用對象網格生成神經網絡來生成表示第一對象在三個維度中的形狀的多邊形網格，所述對象網格生成神經網絡被訓練以將表示所述第一對象的二維(2D)數據點集合變換為所述多邊形網格，所述2D數據點集合表示所述第一對象的至少兩個圖像中的彩色像素，所述至少兩個圖像具有不同的相機姿態；

由所述至少一個處理器使用光度目標函數來優化潛在特征向量集合上的所述多邊形網格，以產生所述第一對象的重建表示，所述潛在特征向量集合表示第二對象的預定義形狀；以及

由所述至少一個處理器使得所述第一對象的所述重建表示經由顯示設備被顯示和經由3D打印設備被打印中的至少一項。

11.根據權利要求10所述的計算機程序產品，其中所述過程包括由所述至少一個處理器來訓練所述對象網格生成網絡，以使用3D計算機輔助繪圖(CAD)模型繪制將所述2D數據點集合變換為所述多邊形網格。

12.根據權利要求10所述的計算機程序產品，其中所述光度目標函數至少部分地表示由所述多邊形網格的至少一個面中的像素所貢獻的光度損失。

13.根據權利要求10所述的計算機程序產品，其中所述光度目標函數包括將參數化的扭曲函數應用于所述第一對象的所述至少兩個圖像中的像素。