[發明專利]用于具有對偶互補圖案照明的3D場景重建的系統和方法

在審

• 申請號: 201780034371.3
• 申請日: 2017-05-09
• 公開（公告）號: CN109219834A
• 公開（公告）日: 2019-01-15
• 發明（設計）人: V.加納帕蒂;E.萊斐利
• 申請（專利權）人: 威里利生命科學有限責任公司
• 主分類號: G06T7/521
• 分類號: G06T7/521;G06T7/55;G01B11/25
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 邵亞麗

1.一種方法，包括：

用成像設備的投影儀將第一參考圖像和互補的第二參考圖像投影到場景上；

用所述成像設備的相機在所述場景上捕獲包括所述第一參考圖像和所述互補的第二參考圖像的第一圖像數據和第二圖像數據；

用與所述成像設備耦合的處理系統，根據所述互補的第二參考圖像的特征來識別所述第一參考圖像的特征；

基于所述第一參考圖像中所識別的特征，對由所述成像設備捕獲的圖像數據執行三維(3D)場景重建；以及

根據所述圖像數據的3D場景重建來生成3D圖像。

2.根據權利要求1所述的方法，其中，所述第一參考圖像是點網格，并且所述互補的第二參考圖像是丟棄點網格，其中，從所述點網格中隨機丟棄一組點，以形成所述互補的第二參考圖像的丟棄點網格，并且其中，所述第一參考圖像和所述互補的第二參考圖像中的點對應于所述第一參考圖像和所述互補的第二參考圖像的特征。

3.根據權利要求2所述的方法，其中，根據所述互補的第二參考圖像的特征來識別所述第一參考圖像的特征包括：

對于所述第一參考圖像的點網格中的每個點，根據來自所述互補的第二參考圖像的丟棄點網格中的最近鄰點來構造相應的特征向量；

對于來自所述第一圖像數據中的所述第一參考圖像的點網格中的每個點，根據所述第二圖像數據中的所述互補的第二參考圖像的丟棄點網格來生成相應的特征向量；以及

根據所生成的特征向量為每個點生成標識，每個點的所述標識基于所生成的特征向量與相應的構造的特征向量之間的匹配。

4.根據權利要求1所述的方法，還包括：

校準深度和坐標字典，所述深度和坐標字典將所述場景的圖像數據的部分的像素坐標值轉化為所述圖像數據的相應部分的真實世界3D坐標值；和

利用所述深度和坐標字典執行3D場景重建，以給所述第一參考圖像中所識別的特征提供真實世界3D坐標值。

5.根據權利要求4所述的方法，還包括：

對于多個深度平面，

將所述第一參考圖像和所述互補的第二參考圖像投影在深度平面處的可移動臺上，以及

根據所述互補的第二參考圖像的特征為所述第一參考圖像中的特征確定特征向量對應關系；

在所述多個深度平面上跟蹤所述第一參考圖像中的特征的圖像傳感器拾取數據；和

使用每個深度平面處的所跟蹤的圖像傳感器拾取數據對所跟蹤的圖像傳感器拾取數據執行回歸分析，以生成深度字典，所述深度字典將所捕獲的圖像的一部分的圖像傳感器拾取數據轉化為所捕獲的圖像的所述部分的真實世界深度值。

6.根據權利要求5所述的方法，還包括：

對于所述多個深度平面，在深度平面處捕獲附著到所述可移動臺的打印圖像的圖像數據，其中所述打印圖像包括打印在所述打印圖像上的可區分特征，所述可區分特征之間具有已知距離，并且其中所述可區分特征與所述第一參考圖像的特征相對應；和

對于所述打印圖像中的每個特征，跨所述多個深度平面對用于所述打印圖像的可區分特征的所跟蹤的圖像傳感器拾取數據執行回歸分析，所述回歸分析基于所述可移動臺的已知深度和所述打印圖像中每個特征之間的已知距離執行，以生成坐標字典，所述坐標字典將所捕獲的圖像的所述部分的圖像傳感器拾取數據轉化為所捕獲的圖像的所述部分的真實世界坐標值。

7.根據權利要求6所述的方法，其中，所述圖像傳感器拾取數據包括圖像傳感器像素坐標，所述圖像傳感器像素坐標與拾取所捕獲的圖像中的特征的所述圖像傳感器的像素的幾何中心相對應。

8.根據權利要求1所述的方法，其中，所述成像設備包括內窺鏡，并且其中，所述處理系統包括與所述內窺鏡可通信地耦合的圖像處理系統。