[發(fā)明專利]后期重投影的方法和裝置

有效

• 申請?zhí)枺?/td>: 201480041966.8
• 申請日: 2014-07-23
• 公開（公告）號: CN105474273B
• 公開（公告）日: 2018-06-19
• 發(fā)明（設(shè)計）人: O·M·C·威廉姆斯;P·巴罕姆;M·伊薩德;T·王;K·烏;G·克萊因;D·K·瑟維斯;A·A·米哈爾;A·皮爾森;M·謝特;J·N·馬戈利斯;N·阿克曼;C·陳;A·C·湯姆林
• 申請（專利權(quán)）人: 微軟技術(shù)許可有限責(zé)任公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06F3/0481;G02B27/01;G06F3/01
• 代理公司: 上海專利商標(biāo)事務(wù)所有限公司 31100
• 代理人: 胡利鳴

描述了用于按比渲染幀速率大的幀速率來生成和顯示與增強現(xiàn)實環(huán)境內(nèi)的一個或多個虛擬對象相關(guān)聯(lián)的圖像的方法。渲染幀速率可對應(yīng)于用于渲染與頭戴式顯示設(shè)備(HMD)的姿態(tài)相關(guān)聯(lián)的圖像的最小時間。在一些實施例中，HMD可確定與HMD的將來位置和朝向相關(guān)聯(lián)的被預(yù)測的姿態(tài)，基于被預(yù)測的姿態(tài)來生成被預(yù)先渲染的圖像，在生成被預(yù)先渲染的圖像后確定與HMD相關(guān)聯(lián)的經(jīng)更新的姿態(tài)，基于經(jīng)更新的姿態(tài)和被預(yù)先渲染的圖像來生成經(jīng)更新的圖像以及在HMD上顯示經(jīng)更新的圖像。經(jīng)更新的圖像可經(jīng)由被預(yù)先渲染的圖像的單應(yīng)變換和/或像素偏移調(diào)整來生成。

技術(shù)領(lǐng)域

本發(fā)明涉及投影技術(shù)，尤其涉及后期重投影的方法和裝置。

背景技術(shù)

增強現(xiàn)實(AR)涉及提供經(jīng)增強的現(xiàn)實世界環(huán)境，其中用計算機生成的虛擬數(shù)據(jù)來增強或修改對現(xiàn)實世界環(huán)境(或表示現(xiàn)實世界環(huán)境的數(shù)據(jù))的感知。例如，可使用諸如相機或話筒等傳感輸入設(shè)備實時地捕捉表示現(xiàn)實世界環(huán)境的數(shù)據(jù)，并用包括虛擬圖像和虛擬聲音的計算機生成的虛擬數(shù)據(jù)來增強該數(shù)據(jù)。虛擬數(shù)據(jù)還可包括與現(xiàn)實世界環(huán)境有關(guān)的信息，諸如與現(xiàn)實世界環(huán)境中的現(xiàn)實世界對象相關(guān)聯(lián)的文本描述。一些AR環(huán)境內(nèi)的對象可包括真實對象(即，存在于特定的現(xiàn)實世界環(huán)境中的對象)和虛擬對象(即，不存在于特定的現(xiàn)實世界環(huán)境中的對象)。

為了將虛擬對象逼真地集成到AR環(huán)境中，AR系統(tǒng)通常執(zhí)行包括映射和本地化的若干任務(wù)。映射涉及生成現(xiàn)實世界環(huán)境的映射的過程。本地化涉及相對于現(xiàn)實世界環(huán)境的映射來定位特定的視角或姿態(tài)的過程。在一些情況下，AR系統(tǒng)可實時本地化在現(xiàn)實世界環(huán)境內(nèi)移動的移動設(shè)備的姿態(tài)，以便確定與該移動設(shè)備相關(guān)聯(lián)的、需要隨該移動設(shè)備在現(xiàn)實世界環(huán)境中移動而被增強的特定姿態(tài)。

AR環(huán)境可使用電子顯示器(例如，與頭戴式顯示設(shè)備集成的LED顯示器)來被提供到移動設(shè)備的最終用戶。電子顯示器可通過調(diào)制被提供到電子顯示器(諸如硅上液晶(LCOS)顯示器)上的光或通過在電子顯示器(例如，OLED顯示器)內(nèi)生成光來對最終用戶顯示虛擬對象的圖像。OLED(即有機發(fā)光二極管)是其中發(fā)射電致發(fā)光層包括有機薄膜的LED。OLED顯示器可包括無源矩陣OLED顯示器或有源矩陣OLED顯示器。有源矩陣OLED顯示器使用每個OLED像素內(nèi)的一個或多個薄膜晶體管(TFT)來控制每像素生成的光的量。在一個示例中，每個OLED像素可包括用于驅(qū)動OLED的第一TFT以及用于鎖存用于控制第一TFT的數(shù)據(jù)的第二TFT。TFT可包括多晶硅TFT或非晶硅TFT。在一些情況下，OLED顯示器可包括紅、綠和藍(lán)發(fā)光子像素的組(即，OLED像素中的每一個可包括用于生成紅、綠和藍(lán)光的多個LED)。OLED顯示器還可包括青色、黃色、品紅色和白色發(fā)光子像素的組。

發(fā)明內(nèi)容

描述了用于按比渲染幀速率大的幀速率來生成和投影與增強現(xiàn)實(AR)環(huán)境內(nèi)的一個或多個虛擬對象相關(guān)聯(lián)的圖像的技術(shù)。渲染幀速率可對應(yīng)于用于渲染與頭戴式顯示設(shè)備(HMD)的特定姿態(tài)相關(guān)聯(lián)的圖像的最小時間。在一些實施例中，HMD可確定與HMD的將來位置和朝向相關(guān)聯(lián)的被預(yù)測的姿態(tài)(例如，HMD的將來8ms或16ms的被預(yù)測的姿態(tài))，基于被預(yù)測的姿態(tài)來生成被預(yù)先渲染的圖像，在生成被預(yù)先渲染的圖像后確定與HMD相關(guān)聯(lián)的經(jīng)更新的姿態(tài)，基于經(jīng)更新的姿態(tài)和被預(yù)先渲染的圖像來生成經(jīng)更新的圖像以及在HMD上顯示經(jīng)更新的圖像。經(jīng)更新的圖像可經(jīng)由被預(yù)先渲染的圖像的單應(yīng)變換和/或像素偏移調(diào)整來生成。

提供本概述以便以簡化形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的一些概念。該概述不旨在標(biāo)識所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在被用來幫助確定所要求保護(hù)的主題的范圍。

附圖說明

圖1是可在其中實施所公開的技術(shù)的聯(lián)網(wǎng)計算環(huán)境的一個實施例的框圖。

圖2A描繪了與第二移動設(shè)備通信的移動設(shè)備的一個實施例。

圖2B描繪了HMD的一部分的一個實施例。