[發明專利]具有虛擬內容扭曲的混合現實系統及使用該系統生成虛擬內容的方法

有效

• 申請號: 201880018442.5
• 申請日: 2018-03-16
• 公開（公告）號: CN110431599B
• 公開（公告）日: 2022-04-12
• 發明（設計）人: R·諾拉伊;R·B·泰勒
• 申請（專利權）人: 奇躍公司
• 主分類號: G06T15/00
• 分類號: G06T15/00;G09G5/00
• 代理公司: 北京市中咨律師事務所 11247
• 代理人: 楊曉光;于靜

一種用于使虛擬內容扭曲的計算機實現的方法包括通過將源虛擬內容進行變換來生成扭曲的虛擬內容。該方法還包括確定與輸出參考幀中的扭曲的虛擬內容的X、Y位置對應的存儲器位置是否被預先存在的虛擬內容占用。該方法還包括如果存儲器位置未被占用，則將扭曲的虛擬內容存儲在存儲器位置中。此外，該方法包括，如果存儲位置被占用，則比較扭曲的虛擬內容和預先存在的虛擬內容的相應Z位置，以識別具有更靠近觀看位置的Z位置的虛擬內容。該方法還包括，如果扭曲的虛擬內容的Z位置比預先存在的虛擬內容的預先存在Z位置更靠近觀看位置，則將扭曲的虛擬內容存儲在與X、Y位置對應的存儲器位置中。

技術領域

本公開涉及具有虛擬內容扭曲的混合現實系統，以及使用該系統生成包括扭曲的虛擬內容的混合現實體驗的方法。

背景技術

現代計算和顯示技術促進了用于所謂的“虛擬現實(VR)”或“增強現實(AR)”體驗的“混合現實(MR)”系統的開發，其中數字再現的圖像或其部分以其看起來是或可能被感知為是真實的方式呈現給用戶。VR情景通常涉及呈現數字或虛擬圖像信息而對于實際的現實世界視覺輸入不透明。AR情景通常涉及呈現數字或虛擬圖像信息作為對于用戶周圍的真實世界的可視化的增強(即，對于真實世界視覺輸入透明)。因此，AR情景涉及呈現數字或虛擬圖像信息而對于現實世界視覺輸入透明。

各種光學系統在各種深度處生成圖像，用于顯示MR(VR和AR)情景。在2014年11月27日提交的美國實用專利申請序列號14/555,585(代理人案卷號ML.20011.00)中描述了一些這樣的光學系統，其內容通過引用明確且全部并入本文，如同全文闡述。

MR系統通常采用可穿戴顯示設備(例如，頭戴式顯示器、頭盔式顯示器或智能眼鏡)，其至少松散地耦合到用戶的頭部，并因此在用戶的頭部移動時移動。如果顯示設備檢測到用戶的頭部運動，則可以更新正在顯示的數據以考慮頭部姿勢的變化(即，用戶頭部的方位和/或位置)。

作為示例，如果佩戴頭戴式顯示設備的用戶在顯示設備上觀看虛擬對象的虛擬表示，并在該虛擬對象出現的區域周圍走動，則可以針對每個視點渲染該虛擬對象，從而給予用戶他們在占據真實空間的對象周圍走動的感覺。如果頭戴式顯示設備用于呈現多個虛擬對象，則可以使用頭部姿勢的測量來渲染場景以與用戶動態變化的頭部姿勢相匹配并提供增加的沉浸感。然而，渲染場景和顯示/投影渲染的場景之間存在不可避免的延遲。

能夠進行AR的頭戴式顯示設備提供真實對象和虛擬對象的同時觀看。利用“光學透視”顯示器，用戶可以透視顯示系統中的透明(或半透明)元件，以直接觀看來自環境中的真實對象的光。透明元件，通常被稱為“組合器”，將來自顯示器的光疊加在用戶的現實世界視圖上，其中來自顯示器的光將虛擬內容的圖像投影在環境中真實對象的透視視圖上。相機可以安裝在頭戴式顯示設備上，以捕獲用戶正在觀看的場景的圖像或視頻。

當前的光學系統，例如MR系統中的光學系統，光學地渲染虛擬內容。內容是“虛擬的”，因為它不對應于位于空間中的相應位置的真實物理對象。相反，虛擬內容當被引導到用戶眼睛的光束刺激時僅存在于頭戴式顯示設備的用戶的大腦(例如，光學中心)中。

MR系統嘗試呈現照片般逼真的沉浸式MR情景。然而，虛擬內容的生成與所生成的虛擬內容的顯示之間的延遲時間，與在延遲時間期間的頭部移動相結合，可以導致MR情景中的視覺偽像(例如，毛刺)。在延遲時間期間快速的頭部運動加劇了這個問題。

為了解決該問題，一些光學系統可以包括從源接收源虛擬內容的扭曲(warping)軟件/系統。然后，扭曲系統對于所接收的源虛擬內容進行“扭曲”(即，變換其參考幀(frameof reference))，以便顯示在顯示系統/觀看者的參考幀(“顯示參考幀”)中。扭曲或變換會改變呈現虛擬內容的參考幀。該方法采用最初渲染的虛擬內容，并且轉變呈現虛擬內容的方式以嘗試從不同的角度顯示虛擬內容。