[發明專利]使用多表面顯示協議傳送表面數據的人工現實系統

在審

• 申請號: 202080076579.3
• 申請日: 2020-10-27
• 公開（公告）號: CN114616548A
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 玉真秀夫;阿洛克·庫馬爾·馬圖爾;史蒂夫·約翰·克洛塞特
• 申請（專利權）人: 臉譜科技有限責任公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F15/17;G06F30/30;G06T7/40;G06T15/00;G06T19/00;G02B27/01
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 王紅英;楊明釗

本公開描述了片上系統(SOC)集成電路之間表面紋理數據的有效傳送。一種示例系統包括第一集成電路和通過通信接口通信耦合到第一集成電路的至少一個第二集成電路。第一集成電路在確定要由第二SoC集成電路渲染以供顯示的幀的表面紋理數據要被更新時，(a)使用通信接口在一個或更多個更新分組中將表面紋理數據傳輸到第二集成電路，以及(b)使用通信接口將指示已經更新了幀的表面紋理數據的命令傳輸到第二集成電路。第二集成電路在接收到該命令時，(a)設置指向顯示緩沖器中存儲該幀的表面紋理數據的位置的指針，以及(b)渲染該幀的表面紋理數據以在顯示設備上顯示。

本申請要求2019年11月4日提交的美國臨時專利申請第62/930,499號和2020年1月14日提交的美國非臨時專利申請第16/742,744號的權益，這兩個申請的全部內容通過引用并入本文。

技術領域

本公開總體上涉及人工現實系統，例如增強現實、混合現實和/或虛擬現實系統。

背景

人工現實系統正變得越來越普遍，應用于許多領域，例如計算機游戲、健康和安全、工業和教育。作為幾個示例，人工現實系統正在被合并到移動設備、游戲機、個人計算機、電影院和主題公園中。通常，人工現實是在呈現給用戶之前已經以某種方式調整的現實的形式，其可包括例如虛擬現實、增強現實、混合現實、混雜現實(hybrid reality)、或其某種組合和/或衍生物。

典型人工現實系統包括用于渲染和向用戶顯示內容的一個或更多個設備。作為一個示例，人工現實系統可合并頭戴式顯示器(HMD)，該HMD由用戶佩戴并且被配置為向用戶輸出人工現實內容。人工現實內容可以完全包括由系統生成的內容，或者可以包括與捕獲的內容(例如，真實世界視頻和/或圖像)相結合的生成的內容。在操作期間，用戶通常與人工現實系統交互以選擇內容、啟動應用、配置系統，并且通常體驗人工現實環境。

概述

總的來說，本發明描述了人工現實(AR)系統和技術，其使用被設計用于傳輸視頻數據的通信協議來傳送非視頻表面數據，以便于當在多設備AR系統內創建人工現實(AR)場景時改變表面數據的處理和顯示方式。示例多設備AR系統包括其中外圍設備在與一個或更多個頭戴式顯示器(HMD)配對時作為協同處理AR設備操作的系統。例如，如本文進一步描述的，外圍設備和每個HMD可以各自包括一個或更多個片上系統(SoC)集成電路(本文中稱為“SoC”或“SoC集成電路”)，這些集成電路被共同配置以提供人工現實應用執行環境。

包括頭戴式顯示器(HMD)的人工現實(AR)系統的各種示例，在低功率模式下，使用視頻數據通信協議將原始表面(或紋理)數據從AR中央處理片上系統(SoC)集成電路中的存儲器傳送至顯示器SoC集成電路上的顯示緩沖器，如下所述。

通常，顯示緩沖器由主處理電路控制，顯示器從該緩沖器接收待顯示的視頻數據。因此，顯示器需要不斷地從緩沖器刷新，因為顯示器不在存儲器中存儲任何視頻數據。這需要在活躍的高功率傳輸模式(有時被稱為“視頻模式”)下使用視頻數據通信協議進行頻繁通信。

如下所述，AR系統利用了并非所有要顯示的表面都在每個視頻幀中更新的事實。要顯示的一些表面紋理是動畫的，并且經常改變。例如，與玩家化身相關聯的表面紋理可以具有隨著每個視頻幀而改變的動畫。然而，一些要顯示的表面紋理是靜態的，不經常改變。例如，與海報或其他裝飾相關聯的表面紋理在AR場景期間可能不會改變。本公開以兩種方式利用了這一點。

首先，顯示緩沖器位于顯示器SoC集成電路內，而不是AR中央處理SoC集成電路內。這個顯示緩沖器是一個雙緩沖器。當前AR場景的各種表面紋理存儲在顯示緩沖器內的特定位置。與表面相關聯的紋理指針指向存儲器中與第一緩沖器中的紋理相關聯的位置或者存儲器中與第二緩沖器中的紋理相關聯的位置。可以更新存儲器中未被指向的位置。紋理指針在紋理更新后切換，以便更新的紋理將出現在下一個視頻幀中。