[發明專利]用于生成場景中的表面的三維重建的方法和設備

有效

• 申請號: 201880089910.8
• 申請日: 2018-12-21
• 公開（公告）號: CN111788610B
• 公開（公告）日: 2021-11-26
• 發明（設計）人: F·T·施泰因布魯克;D·G·莫利納;吳仲樂;魏曉林;閔見源;張一夫
• 申請（專利權）人: 奇躍公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/00;G06T15/00;G06T15/08
• 代理公司: 北京市中咨律師事務所 11247
• 代理人: 楊曉光;于靜

1.一種操作計算系統以生成場景中的表面的三維(3D)重建的方法，其中，所述計算系統通過多個磚塊表示所述場景，每個磚塊包括多個體素，所述方法包括：

從用戶佩戴的深度傳感器捕獲深度圖像，所述深度圖像包括多個像素，每個像素指示到與所述場景中的所述表面相鄰的區域的距離；

對所述多個磚塊中的每個磚塊進行第一接受測試，其中，所述第一接受測試包括：至少部分地基于確定所述多個像素中的像素與所述磚塊相交，接受所述磚塊以用于進一步的處理；以及

基于所接受的磚塊生成所述3D重建。

2.根據權利要求1所述的方法，還包括：

進行第二接受測試，所述第二接受測試包括接受位于由所述深度圖像中的像素指示的在背景的前面的磚塊。

3.根據權利要求2所述的方法，其中：

所述第二接受測試包括接受位于由所述深度圖像中的像素指示的在實心背景或有孔背景的前面的磚塊。

4.根據權利要求3所述的方法，其中：

生成所述3D重建包括：基于所述像素是在所述第一接受測試中還是在所述第二接受測試中被接受來對所接受的像素進行選擇處理。

5.根據權利要求2所述的方法，其中：

順序執行所述第一接受測試和所述第二接受測試，以使得所述第二接受測試對在所述第一接受測試中既沒有被接受也沒有被拒絕的磚塊執行。

6.根據權利要求1所述的方法，其中：

確定所述多個像素中的像素與所述磚塊相交包括：

以所述深度圖像的坐標來計算到在所述磚塊到所述深度圖像的投影周圍的邊界框的最小距離和最大距離；以及

對于至少一個像素，當所述像素的距離值在最小尺寸和最大尺寸之間時，接受所述磚塊。

7.根據權利要求6所述的方法，還包括：

對在所述第一接受測試中未被接受的至少一部分所述磚塊進行第二接受測試，所述第二接受測試包括：對于每個這種磚塊，

如果所述最大尺寸小于所述深度圖像中任何像素的所述距離值，則接受所述磚塊。

8.根據權利要求7所述的方法，還包括：

對于在所述第二接受測試中被接受的每個磚塊，基于所述最小尺寸是否大于所述深度圖像中任何像素的所述距離值，對所接受的像素進行選擇處理。

9.根據權利要求1所述的方法，還包括：

當磚塊被確定位于在所述深度圖像中表示的表面的后面時，拒絕所述磚塊用于進一步的處理。

10.根據權利要求1所述的方法，其中，所述進一步的處理包括：

基于所述場景的圖像數據，更新所接受的磚塊的所述多個體素。

11.根據權利要求1所述的方法，其中，確定像素與所述磚塊相交包括：將所述磚塊的磚塊輪廓投影到所述深度圖像中，所述磚塊輪廓是用于被投影到所述深度圖像上的所述磚塊的最小邊界框。

12.根據權利要求1所述的方法，其中，確定所述多個像素的所述部分中的每個像素是否與所述磚塊相交包括：

針對所述磚塊計算最小填充值和最大填充值；

對于所述多個像素的所述部分中的每個像素，將由所述像素指示的所述距離與所述磚塊的所述最小填充值和所述最大填充值進行比較；以及

當由所述像素指示的所述距離在所述最大填充值和所述最小填充值之間時，所述像素被確定為與所述磚塊相交。

13.根據權利要求1所述的方法，其中：

所述深度圖像對應于相機平截頭體，所述相機平截頭體呈3D梯形棱柱的形狀；

所述方法包括：在進行所述第一接受測試之前，針對所述相機平截頭體挑選所述多個磚塊的一部分，以產生減少的磚塊集；以及

所述第一接受測試是針對所述減少的磚塊集進行的。