[發明專利]用于照明混合現實對象的環境合成

在審

• 申請號: 201910426485.3
• 申請日: 2019-05-22
• 公開（公告）號: CN110517355A
• 公開（公告）日: 2019-11-29
• 發明（設計）人: D·庫爾茨;G·索馬納斯;T·霍爾
• 申請（專利權）人: 蘋果公司
• 主分類號: G06T19/00
• 分類號: G06T19/00
• 代理公司: 11038 中國國際貿易促進委員會專利商標事務所
• 代理人: 吳信剛<國際申請>=<國際公布>=<進入

本發明涉及用于照明混合現實對象的環境合成。本文所公開的各種具體實施包括基于CGR環境中的合成來渲染計算機生成現實(CGR)對象的反射表面的設備、系統和方法。為了渲染CGR對象的反射表面，一個示例性具體實施涉及基于所觀察到的物理場景的特征來合成表示物理場景的一部分的CGR環境的環境地圖。在一種具體實施中，生成完整的環境地圖包括識別沒有對應紋理的環境地圖的像素，并且基于與物理場景的一個或多個相機圖像相關聯的紋理信息來生成合成紋理。在一種具體實施中，在CGR環境中渲染CGR對象，其中基于CGR環境的完整環境地圖來確定CGR對象的反射表面的外觀。

相關申請的交叉引用

本申請要求2018年5月22日提交的美國臨時申請序列號62/674,690的權益，該申請全文以引用方式并入本文。

技術領域

本公開整體涉及在CGR環境中渲染計算機生成現實(CGR)對象，以及具體地講，涉及用于在CGR環境中逼真地渲染CGR對象的反射表面的系統、方法和設備。

背景技術

CGR系統所使用的計算機生成現實(CGR)對象通常旨在具有逼真且令人信服的外觀。例如，基于物理沙發的CGR沙發可被放置在獨立的物理房間中，或者基于物理花瓶的CGR花瓶可被放置在物理桌面上。CGR對象與許多物理對象一樣，常常具有反射屬性。例如，花瓶的表面可具有包括附近物理對象的鏡面反射的外觀。為了實現在CGR環境中渲染的此類CGR對象的逼真外觀，CGR對象上的反射應準確地反映周圍的物理對象。

現有的CGR系統無法顯示具有足夠精確反射表面的CGR對象。在許多情況中，CGR系統僅具有對特定相機視圖或一組有限相機視圖的訪問權限，因此通常缺少應在CGR對象上的逼真表面中反射的物理對象或周圍物理對象的部分的圖像。例如，CGR系統可能不具有捕獲在相機視場之外的桌子的一部分的圖像，該相機視場應該被反射在插入到環境中的CGR花瓶的表面中。

用于生成反射表面的一些現有技術使用環境地圖(也稱為反射地圖)。環境映射或反射映射是一種基于圖像的照明技術，用于通過預先計算的紋理圖像來近似反射表面的外觀。環境地圖的紋理通常由用戶提供。例如，用戶可提供森林的圖像以生成將用于在虛擬世界中反射對象的環境地圖。然而，使用基于先前捕獲的場景的環境地圖不能為當前場景中的CGR對象提供逼真的反射，因為當前場景中存在的任何在先前捕獲的場景中不存在的對象不會呈現在CGR對象的反射中。

現有的環境映射技術不能為插入物理環境中的CGR對象提供逼真的反射，因為用于生成環境地圖的紋理是基于用戶提供的獨立環境的圖像的。紋理，以及因此CGR對象反射不能準確地表示放置CGR對象的CGR環境中的CGR對象周圍的桌子、墻壁和其他物理對象。

發明內容

本文所公開的各種具體實施包括基于CGR環境中的環境合成來渲染計算機生成現實(CGR)對象的反射表面的設備、系統和方法。一種示例性具體實施涉及在具有一個或多個處理器和計算機可讀存儲介質的設備處執行操作。為了渲染CGR對象的反射表面，該設備基于所觀察到的物理場景的特征來合成表示真實物理場景的一部分的CGR環境的環境地圖。例如，該設備可基于在場景的一個或多個相機圖像中觀察到的部分表面，確定包括擴展表面的環境地圖。該設備基于物理場景的一個或多個相機圖像來確定環境地圖和/或環境地圖的擴展表面的紋理信息(例如，顏色、圖案、反射率、輻照度等)。又如，該設備可通過識別環境地圖中沒有對應紋理的像素并基于所確定的紋理信息生成合成紋理，從而生成CGR環境的包括合成紋理的完整環境地圖。