[發明專利]靜態遮擋物

在審

• 申請號: 201910453896.1
• 申請日: 2019-05-29
• 公開（公告）號: CN110554770A
• 公開（公告）日: 2019-12-10
• 發明（設計）人: A·P·林德伯格;A·S·薩伊尼;S·奧爾
• 申請（專利權）人: 蘋果公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06T19/00
• 代理公司: 11038 中國國際貿易促進委員會專利商標事務所
• 代理人: 吳信剛

本發明涉及靜態遮擋物。一些具體實施涉及在具有處理器、存儲器和圖像傳感器的計算裝置上使用圖像傳感器獲得物理環境的圖像。各種具體實施檢測圖像中的物理環境對象的描繪，并基于圖像中的對象的描繪和物理環境對象的3D模型來確定3D空間中的對象的3D位置。各種具體實施基于3D空間中的對象的3D位置和虛擬對象的3D位置來確定遮擋。然后基于遮擋顯示CGR體驗，其中對象或虛擬對象的至少一部分被另一個遮擋。

相關申請的交叉引用

本申請要求2018年6月1日提交的美國臨時申請序列號62/679,160的權益，該申請全文以引用方式并入本文。

技術領域

本公開一般涉及計算機生成的現實(CGR)體驗，并尤其涉及用于在CGR體驗中提供遮擋的系統、方法和裝置。

背景技術

CGR環境是指人們經由電子系統感測和/或與之交互的完全或部分模擬的環境。CGR體驗通常由用戶使用移動裝置、頭戴式裝置(HMD)或呈現環境的視覺或音頻特征的其他裝置來體驗。CGR體驗可以是但不一定是沉浸式的，例如，提供用戶體驗的大部分或全部視覺或音頻內容。CGR體驗可以是視頻透視(例如，其中物理環境由相機捕獲并且在具有附加內容的顯示器上顯示)或光學透視(例如，其中直接或透過玻璃觀看物理環境并輔以顯示的附加內容)。例如，CGR系統可以通過將渲染的三維(“3D”)圖形(例如，虛擬對象)集成到由搭載的攝像頭捕獲的現場視頻流中，使用消費者移動電話的顯示器上的視頻透視來向用戶提供CGR體驗。作為另一示例，CGR系統可以通過將渲染的3D圖形疊加到可穿戴的透視頭戴式顯示器(“HMD”)中來使用光學透視為用戶提供CGR體驗，從而用疊加的虛擬對象以電子方式增強用戶對物理環境的光學視圖。現有的計算系統和應用程序不能充分地提供彼此相關的CGR體驗中描繪的物理環境(例如，真實對象)和虛擬對象的遮擋。

發明內容

本文公開的各種具體實施包括執行CGR體驗的遮擋處理的裝置、系統和方法。例如通過相機捕獲圖像或圖像序列，并與虛擬對象組合以提供CGR環境。CGR環境中的真實對象與虛擬對象之間發生遮擋，其中從用戶的角度來看，真實對象位于虛擬對象的前面，從而使虛擬對象的全部或一部分從觀看中變得模糊，反之亦然。為了準確地顯示這樣的遮擋，本文公開的具體實施確定3D空間中的真實對象和虛擬對象的相對位置和幾何形狀。使用圖像數據確定真實對象(例如，博物館中的雕塑)的位置和幾何形狀以識別對象的位置并且與存儲的真實對象的3D模型(例如，對應于雕塑的3D模型)組合。使用真實對象的3D模型提供關于真實對象的準確幾何信息，否則單獨檢查圖像可能無法獲得這些信息。使用3D空間中的真實對象和虛擬對象的精確相對位置和幾何形狀來確定準確的遮擋。因此，當虛擬對象在其前面時，虛擬對象將遮擋真實對象，反之亦然。在一些具體實施中，遮擋邊界(例如，在CGR環境的視圖的區域處，虛擬對象的邊緣在這里與真實對象的邊緣相鄰)被校正，以進一步改善所顯示的遮擋的準確性。

本公開的一些具體實施涉及在具有處理器、存儲器和圖像傳感器的計算裝置上，使用圖像傳感器獲得物理環境的圖像。這些具體實施接下來檢測圖像中的真實對象的描繪，例如，在當前幀中，并且基于圖像中的真實對象的描繪和真實對象的3D模型來確定3D空間中的對象的三維(3D)位置。各種具體實施基于3D空間中的真實對象的3D位置和虛擬對象的3D位置來確定遮擋。然后提供CGR環境以用于基于遮擋在顯示器上觀看。CGR環境包括真實對象和虛擬對象，其中根據確定的遮擋來遮擋真實對象或虛擬對象的至少一部分。在一些具體實施中，圖像傳感器捕獲幀序列，并且為幀序列中的每個幀添加遮擋。因此，在CGR體驗期間實時確定并顯示虛擬對象與真實對象之間的準確遮擋。在一些具體實施中，此類遮擋隨時間改變，例如，基于真實對象的移動、虛擬對象的移動、圖像傳感器的移動或其組合。