[發明專利]使用光線投射法的基于圖像的多個深度圖像的幾何融合

有效

• 申請號: 202010585224.9
• 申請日: 2020-06-24
• 公開（公告）號: CN111741286B
• 公開（公告）日: 2022-08-16
• 發明（設計）人: 烏格斯·霍佩;里卡多·馬丁·布魯瓦利亞;哈里斯·諾弗
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: H04N13/271
• 分類號: H04N13/271;H04N13/282;G06T15/20;G06T15/06;G06T15/00;G06T5/50
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李佳;鄧聰惠

本公開涉及使用光線投射法的基于圖像的多個深度圖像的幾何融合。渲染圖像的技術包括：在沿著來自指定視點的光線的距給定深度圖像的投影距離方面，生成沿著該光線的帶有符號的距離值(SDV)。對于從指定視點的透視角的圖像中的每個像素，光線被追蹤到由該圖像表示的三維場景中。沿著光線執行迭代步驟，在每個迭代中獲得三維世界空間點p。結果是如從深度視圖D_j中所測量的帶有符號的距離s_j。如果帶有符號的距離s_j的絕對值大于某個截斷閾值參數，則該帶有符號的距離s_j被特定的未定義值替換。定義的帶有符號的距離值被聚合以獲得總體帶有符號的距離s。最后，帶有符號的距離場的根或零集(等值面)被確定。

技術領域

此說明書涉及多個深度圖像的融合。

背景技術

一些被配置成渲染計算機圖形對象的計算機可以在給定多個、現有視圖的情況下在指定的視圖處渲染對象。例如，考慮到從相機捕獲的關于包括這樣的計算機圖形對象的場景的數個深度圖像和彩色圖像，目標可能是從不同的視點合成場景的新視圖。場景可以是真實的或者可以是合成的，在場景可以是真實的情況下使用物理顏色和深度傳感器捕獲視圖，在場景可以是合成的情況下使用諸如光柵化或光線追蹤法的渲染算法捕獲視圖。對于真實場景，存在許多深度感測技術，諸如飛行時間傳感器、基于結構光的傳感器以及立體或多視圖立體算法。此類技術可能涉及具有被動或主動照明模式的可見或紅外傳感器，其中這些模式可能會隨時間變化。

發明內容

在一個總體方面，一種方法可以包括：由被配置成渲染對象圖像的計算機的處理電路，接收表示對象的多個深度圖像的深度圖像數據，所述多個深度圖像中的每個是從相應視點捕獲到的對象的深度圖像，該深度圖像表示圖像捕獲設備與對象之間的距離。該方法還可以包括：接收表示對象的圖像的目標視點的視點數據，該目標視點與從其捕獲多個深度圖像中的每個的相應視點不同，圖像包括多個像素。該方法可以進一步包括生成表示朝向圖像的多個光線的光線數據，所述多個光線中的每個光線對應于圖像的多個像素中的相應像素。該方法可以進一步包括對于多個光線中的每個光線：生成帶有符號的距離值(SDV)數據，該SDV數據表示沿著該光線的多個位置中的每個位置處的多個SDV，在沿著該光線的多個位置中的每一個處的多個SDV中的每個對應于多個深度圖像中的相應深度圖像；對在沿著該光線的多個位置中的每個位置處的SDV數據執行聚合操作，以產生沿著該光線的聚合SDV數據，該聚合SDV數據表示沿著光線的多個位置中的每個位置處的聚合SDV；以及確定沿著該光線的聚合SDV滿足指定條件的位置。該方法可以進一步包括：基于沿著多個光線的該光線的相應聚合的SDV等于指定值的位置來生成從指定視點的角度捕獲到的對象的深度圖像。

在下面的附圖和描述中闡述一個或多個實施方式的細節。其他特征將從說明書和附圖中并從權利要求書中顯而易見。

附圖說明

圖1是圖示用于實現本文描述的技術方案的示例電子環境的圖。

圖2是圖示在圖1中所示的電子環境內執行技術方案的示例方法的流程圖。

圖3是圖示用于根據在圖1中所示的電子環境中執行的技術方案確定沿著光線的在指定視點處的深度圖處被確定的點的示例幾何結構的圖。

圖4是圖示根據圖1中所示的電子環境中執行的技術方案生成的示例融合深度圖的圖。

圖5圖示可以與這里描述的電路一起使用的計算機設備和移動計算機設備的示例。

具體實施方式

本文描述的背景是根據現有視圖的計算機圖形渲染。考慮到從相機捕獲的關于場景的數個深度圖像和彩色圖像，期望從不同的視點合成場景的新視圖。場景可以是物理的(在這種情況下，使用物理顏色和深度傳感器捕獲視圖)，或者是合成的(在這種情況下，使用諸如光柵化或光線追蹤的渲染算法捕獲視圖)。