[發明專利]用于具有對偶互補圖案照明的3D場景重建的系統和方法

在審

• 申請號: 201780034371.3
• 申請日: 2017-05-09
• 公開（公告）號: CN109219834A
• 公開（公告）日: 2019-01-15
• 發明（設計）人: V.加納帕蒂;E.萊斐利
• 申請（專利權）人: 威里利生命科學有限責任公司
• 主分類號: G06T7/521
• 分類號: G06T7/521;G06T7/55;G01B11/25
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 邵亞麗

描述了一種用于在執行場景的深度重建時利用場景的對偶互補圖案照明的裝置、系統和過程。該方法可以包括將第一參考圖像和互補的第二參考圖像投影到場景上，以及在場景上捕獲包括第一參考圖像和互補的第二參考圖像的第一圖像數據和第二圖像數據。該方法還可以包括根據互補的第二參考圖像的特征來識別第一參考圖像的特征。此外，該方法可以包括基于第一參考圖像中所識別的特征對由成像設備捕獲的圖像數據執行三維(3D)場景重建。

優先權

本專利申請要求2016年6月2日提交的標題為“用于具有對偶互補圖案照明(dualcomplementary pattern illumination)的3D場景重建的系統和方法”的相應臨時專利申請序列號62/344,789的優先權，并通過引用將其并入。

技術領域

本公開總體上涉及數字成像，并且具體地但不排他地，涉及三維場景重建。

背景技術

當相機捕獲圖像時，獲得相機的視場中的場景的二維(two-dimensional，2D)表示。然而，對于許多應用，需要場景的三維(three-dimensional，3D)重建。3D重建可以通過用已知圖案(pattern)來照明場景并用相機來拍攝被照明的場景的照片來獲得。當可以確定照片與已知照明圖案的點對點(point-to-point)對應關系(correspondence)時，可以使用三角測量來確定每個點的深度，并且可以以三維的方式重建場景。然而，對應關系的問題很難解決。對于當前的解決方案，由于必須拍攝許多圖像而在圖像獲取方面存在高延遲，在多個圖像之間的對應關系的計算方面存在高延遲，以及/或者在確定對應關系方面存在不確定性。

附圖說明

參考以下附圖描述了本發明的非限制性和非窮盡性實施例，其中，除非另有說明，否則在各個視圖中，相同的附圖標記指代相同的部件。附圖不一定是按比例的，而是將重點放在示出所描述的原理上。

圖1是基于場景的對偶互補圖案照明的三維場景重建的示例性系統架構的框圖。

圖2是內窺鏡和圖像處理設備的一個實施例的框圖。

圖3是示出通過將互補圖案投影到場景上來執行三維場景重建的過程的流程圖。

圖4A示出用于三維場景重建的第一參考圖像的一個實施例。

圖4B示出用于三維場景重建的第二互補參考圖像的一個實施例。

圖5是示出在三維場景重建期間使用投影在場景上的互補圖案的過程的流程圖。

圖6示出使用對偶互補圖案照明生成特征向量的一個實施例。

圖7是用于校準使用對偶互補圖案以照明場景的成像設備的系統的一個實施例的框圖。

圖8A是示出用于執行利用對偶互補圖案以照亮場景的成像設備的深度校準的過程的流程圖。

圖8B是示出用于執行利用對偶互補圖案以照亮場景的成像設備的坐標(coordinate)校準的過程的流程圖。

圖9是可與本發明一起使用的計算機系統的一個實施例。

具體實施方式

本文描述了用于在執行場景的深度重建時利用場景的對偶互補圖案照明的裝置、系統和過程的實施例。如下面更詳細討論的，在實施例中，使用場景的對偶互補圖案照明可以獲得具有低延遲和非常高精度的結構化照明中的對應關系。在下面的描述中，闡述了許多細節。然而，對于受益于本公開的本領域普通技術人員之一來說顯而易見的是，本發明可以在沒有這些具體細節的情況下被實踐。在一些情況下，為了避免模糊本發明，以框圖形式而不是詳細地示出眾所周知的結構和設備。