[發(fā)明專利]具有彩色虛擬內(nèi)容扭曲的混合現(xiàn)實(shí)系統(tǒng)及使用該系統(tǒng)生成虛擬內(nèi)容的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201880018310.2
• 申請(qǐng)日: 2018-03-16
• 公開（公告）號(hào): CN110402425A
• 公開（公告）日: 2019-11-01
• 發(fā)明（設(shè)計(jì)）人: M·H·利本諾;R·諾拉伊;R·B·泰勒;F·亞拉什
• 申請(qǐng)（專利權(quán)）人: 奇躍公司
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06T3/00
• 代理公司: 北京市中咨律師事務(wù)所 11247
• 代理人: 楊曉光;于靜

一種用于扭曲多場(chǎng)彩色虛擬內(nèi)容以順序投影的計(jì)算機(jī)實(shí)現(xiàn)的方法包括獲取具有不同的第一和第二顏色的第一和第二色場(chǎng)。該方法還包括確定用于投影扭曲的第一色場(chǎng)的第一時(shí)間。該方法還包括確定用于投影扭曲的第二色場(chǎng)的第二時(shí)間。此外，該方法包括預(yù)測(cè)第一時(shí)間處的第一姿勢(shì)并預(yù)測(cè)第二時(shí)間處的第二姿勢(shì)。另外，該方法包括通過基于第一姿勢(shì)扭曲第一色場(chǎng)來(lái)生成扭曲的第一色場(chǎng)。該方法還包括通過基于第二姿勢(shì)扭曲第二色場(chǎng)來(lái)生成扭曲的第二色場(chǎng)。

技術(shù)領(lǐng)域

本公開涉及具有彩色虛擬內(nèi)容扭曲的混合現(xiàn)實(shí)系統(tǒng)，以及使用該系統(tǒng)生成包括扭曲的虛擬內(nèi)容的混合現(xiàn)實(shí)體驗(yàn)的方法。

背景技術(shù)

現(xiàn)代計(jì)算和顯示技術(shù)促進(jìn)了用于所謂的“虛擬現(xiàn)實(shí)(VR)”或“增強(qiáng)現(xiàn)實(shí)(AR)”體驗(yàn)的“混合現(xiàn)實(shí)(MR)”系統(tǒng)的開發(fā)，其中數(shù)字再現(xiàn)的圖像或其部分以其看起來(lái)是或可能被感知為是真實(shí)的方式呈現(xiàn)給用戶。VR情景通常涉及呈現(xiàn)數(shù)字或虛擬圖像信息而對(duì)于實(shí)際的現(xiàn)實(shí)世界視覺輸入不透明。AR情景通常涉及呈現(xiàn)數(shù)字或虛擬圖像信息作為對(duì)于用戶周圍的真實(shí)世界的可視化的增強(qiáng)(即，對(duì)于真實(shí)世界視覺輸入透明)。因此，AR情景涉及呈現(xiàn)數(shù)字或虛擬圖像信息而對(duì)于現(xiàn)實(shí)世界視覺輸入透明。

MR系統(tǒng)通常生成和顯示彩色(color)數(shù)據(jù)，這增加了MR情景的真實(shí)性。這些MR系統(tǒng)中的許多系統(tǒng)通過快速連續(xù)地以與彩色圖像對(duì)應(yīng)的不同(例如，基本)彩色或“場(chǎng)(field)”(例如，紅色、綠色和藍(lán)色)順序投影(project)子圖像來(lái)顯示彩色數(shù)據(jù)。以足夠高的速率(例如，60Hz、120Hz等)投影彩色子圖像可以在用戶的腦海中提供平滑的彩色MR情景。

各種光學(xué)系統(tǒng)在各種深度處生成包括彩色圖像的圖像，用于顯示MR(VR和AR)情景。在2014年11月27日提交的美國(guó)實(shí)用專利申請(qǐng)序列號(hào)14/555,585(代理人案卷號(hào)ML.20011.00)中描述了一些這樣的光學(xué)系統(tǒng)，其內(nèi)容通過引用明確且全部并入本文，如同全文闡述。

MR系統(tǒng)通常采用可穿戴顯示設(shè)備(例如，頭戴式顯示器、頭盔式顯示器或智能眼鏡)，其至少松散地耦合到用戶的頭部，并因此在用戶的頭部移動(dòng)時(shí)移動(dòng)。如果顯示設(shè)備檢測(cè)到用戶的頭部運(yùn)動(dòng)，則可以更新正在顯示的數(shù)據(jù)以考慮頭部姿勢(shì)的變化(即，用戶頭部的方位和/或位置)。

作為示例，如果佩戴頭戴式顯示設(shè)備的用戶在顯示器上觀看虛擬對(duì)象的虛擬表示，并在該虛擬對(duì)象出現(xiàn)的區(qū)域周圍走動(dòng)，則可以針對(duì)每個(gè)視點(diǎn)渲染該虛擬對(duì)象，從而給予用戶他們?cè)谡紦?jù)真實(shí)空間的對(duì)象周圍走動(dòng)的感覺。如果頭戴式顯示設(shè)備用于呈現(xiàn)多個(gè)虛擬對(duì)象，則可以使用頭部姿勢(shì)的測(cè)量來(lái)渲染場(chǎng)景以與用戶動(dòng)態(tài)變化的頭部姿勢(shì)相匹配并提供增加的沉浸感。然而，渲染場(chǎng)景和顯示/投影渲染的場(chǎng)景之間存在不可避免的延遲。

能夠進(jìn)行AR的頭戴式顯示設(shè)備提供真實(shí)對(duì)象和虛擬對(duì)象的同時(shí)觀看。利用“光學(xué)透視”顯示器，用戶可以透視顯示系統(tǒng)中的透明(或半透明)元件，以直接觀看來(lái)自環(huán)境中的真實(shí)對(duì)象的光。透明元件，通常被稱為“組合器”，將來(lái)自顯示器的光疊加在用戶的現(xiàn)實(shí)世界視圖上，其中來(lái)自顯示器的光將虛擬內(nèi)容的圖像投影在環(huán)境中真實(shí)對(duì)象的透視視圖上。相機(jī)可以安裝在頭戴式顯示設(shè)備上，以捕獲用戶正在觀看的場(chǎng)景的圖像或視頻。

當(dāng)前的光學(xué)系統(tǒng)，例如MR系統(tǒng)中的光學(xué)系統(tǒng)，光學(xué)地渲染虛擬內(nèi)容。內(nèi)容是“虛擬的”，因?yàn)樗粚?duì)應(yīng)于位于空間中的相應(yīng)位置的真實(shí)物理對(duì)象。相反，虛擬內(nèi)容當(dāng)被引導(dǎo)到用戶眼睛的光束刺激時(shí)僅存在于頭戴式顯示設(shè)備的用戶的大腦(例如，光學(xué)中心)中。

MR系統(tǒng)嘗試呈現(xiàn)彩色的照片般逼真的沉浸式MR情景。然而，虛擬的生成與所生成的虛擬內(nèi)容的顯示之間的延遲時(shí)間，與在延遲時(shí)間期間的頭部移動(dòng)相結(jié)合，可以導(dǎo)致MR情景中的視覺偽像(例如，毛刺)。在延遲時(shí)間期間快速的頭部移動(dòng)以及通過順序地投影彩色或場(chǎng)(即，諸如LCOS的順序顯示)產(chǎn)生的顏色內(nèi)容加劇了該問題。