[發(fā)明專利]具有動態(tài)區(qū)域分辨率的虛擬/增強現(xiàn)實系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110360158.X
• 申請日: 2016-07-15
• 公開（公告）號: CN113156649B
• 公開（公告）日: 2023-04-28
• 發(fā)明（設(shè)計）人: B·T·朔文格特;L·E·埃德溫;I·L·約;A·舒爾克;S·A·米勒
• 申請（專利權(quán)）人: 奇躍公司
• 主分類號: G02B27/01
• 分類號: G02B27/01;G02B26/10;G02B30/00;G02B30/50;G06F3/01;G06T15/20;G06T19/20
• 代理公司: 北京市中咨律師事務(wù)所 11247
• 代理人: 賀月嬌;于靜

本發(fā)明涉及具有動態(tài)區(qū)域分辨率的虛擬/增強現(xiàn)實系統(tǒng)。提供一種虛擬圖像生成系統(tǒng)和方法。呈現(xiàn)三維場景的多個合成圖像幀，并將其順序地顯示給最終用戶。所顯示的圖像幀中的每一者具有非均勻分辨率分布。

本申請是申請日為2016年7月15日、PCT國際申請?zhí)枮镻CT/US2016/042649、中國國家階段申請?zhí)枮?01680041859.4、發(fā)明名稱為“具有動態(tài)區(qū)域分辨率的虛擬/增強現(xiàn)實系統(tǒng)”的申請的分案申請。

技術(shù)領(lǐng)域

本發(fā)明一般地涉及被配置為促進一個或多個用戶的交互式虛擬或增強現(xiàn)實環(huán)境的系統(tǒng)和方法。

背景技術(shù)

現(xiàn)代計算和顯示技術(shù)促進了用于所謂的“虛擬現(xiàn)實”或“增強現(xiàn)實”體驗的系統(tǒng)的開發(fā)，其中數(shù)字地再現(xiàn)的圖像或其各部分以它們看起來真實或可以被感知為真實的方式呈現(xiàn)給用戶。虛擬現(xiàn)實(VR)情景通常涉及以對其它實際的真實世界視覺輸入不透明的方式呈現(xiàn)數(shù)字或虛擬圖像信息，而增強現(xiàn)實(AR)情景通常涉及將數(shù)字或虛擬圖像信息呈現(xiàn)為對最終用戶周圍的實際世界的視覺化的增強。

例如，參考圖1，示出增強現(xiàn)實場景4，其中AR技術(shù)的用戶看到在背景中以人、樹木、建筑物為特色的真實世界公園式環(huán)境6、以及混凝土平臺8。除了這些物品之外，AR技術(shù)的最終用戶還感覺他“看到”站在真實世界平臺8上的機器人雕像10、以及飛行的卡通式化身角色12(其看起來是大黃蜂的化身)，盡管在真實世界中不存在這些元素10、12。事實證明，人類視覺感知系統(tǒng)非常復(fù)雜，并且產(chǎn)生促進在其它虛擬或真實世界圖像元素中舒適、自然、豐富地呈現(xiàn)虛擬圖像元素的VR或AR技術(shù)具有挑戰(zhàn)性。

VR和AR系統(tǒng)通常采用頭戴式顯示器(或頭盔顯示器、或智能眼鏡)，它們至少松散地耦合到用戶的頭部，并且因此當最終用戶的頭部移動時移動。如果顯示系統(tǒng)檢測到最終用戶的頭部運動，則能夠更新正在被顯示的數(shù)據(jù)以便考慮頭部姿勢(即，用戶頭部的方位和/或位置)的變化。

例如，如果佩戴頭戴式顯示器的用戶在顯示器上觀看三維(3D)對象的虛擬表示，并且在3D對象出現(xiàn)的區(qū)域周圍走動，則能夠針對每個視點重新呈現(xiàn)該3D對象，從而使最終用戶感覺他或她正在占據(jù)真實空間的對象周圍走動。如果使用頭戴式顯示器在虛擬空間(例如，豐富虛擬世界)內(nèi)呈現(xiàn)多個對象，則能夠使用頭部姿勢的測量重新呈現(xiàn)場景，以便與最終用戶的動態(tài)變化的頭部位置和方位相匹配，并且提供在虛擬空間中的增加的沉浸感。

啟用AR的頭戴式顯示器(即，同時觀看真實和虛擬元素)能夠具有數(shù)種不同類型的配置。在一個此類配置(通常被稱為“視頻透視式(see-through)”顯示器)中，攝像機捕獲真實場景的元素，計算系統(tǒng)將虛擬元素疊加到捕獲的真實場景上，并且不透明顯示器將合成圖像呈現(xiàn)給眼睛。另一種配置通常被稱為“光學(xué)透視式”顯示器，其中最終用戶能夠透過顯示系統(tǒng)中的透明(或半透明)元件進行查看，以便直接觀看來自環(huán)境中真實對象的光。透明元件(通常被稱為“組合器”)將來自顯示器的光疊加在最終用戶的真實世界視圖之上。

VR和AR系統(tǒng)通常采用具有投影子系統(tǒng)和顯示表面的顯示系統(tǒng)，顯示表面位于最終用戶的視場的前方，并且投影子系統(tǒng)在顯示表面上順序地投影圖像幀。在真實的三維系統(tǒng)中，能夠以幀速率或子幀速率控制顯示表面的深度。投影子系統(tǒng)可以包括一個或多個光纖，其中來自一個或多個光源的光以定義的模式發(fā)射不同顏色的光；以及掃描設(shè)備，其以預(yù)定模式掃描光纖(多個)，以便產(chǎn)生順序地顯示給最終用戶的圖像幀。

因為VR或AR系統(tǒng)與人類視覺系統(tǒng)緊密對接，所以每個圖像幀的分辨率僅需與人眼的分辨率相匹配以便提供正確的視覺刺激。為此，通常將每個圖像幀的分辨率設(shè)置為人眼的最大分辨率。但是，因為任何特定系統(tǒng)的掃描頻率取決于由于軟件和硬件限制而導(dǎo)致的圖像幀分辨率(即，相應(yīng)圖像幀以圖形方式呈現(xiàn)(軟件)并經(jīng)由掃描器(硬件)實際呈現(xiàn)給最終用戶時的頻率)，所以嘗試將圖像幀分辨率與人眼的最大分辨率相匹配增加了對AR和VR系統(tǒng)的限制，這可導(dǎo)致這樣的掃描頻率：這些掃描頻率可能不會優(yōu)化最終用戶的觀看體驗和/或需要極其昂貴的AR或VR系統(tǒng)組件來實現(xiàn)生成和呈現(xiàn)較高分辨率圖像幀所需的增加的處理和掃描速度。