[發明專利]針對頭戴式顯示設備的光場視點和像素剔除

在審

• 申請號: 201680081804.6
• 申請日: 2016-12-08
• 公開（公告）號: CN108604390A
• 公開（公告）日: 2018-09-28
• 發明（設計）人: 曼弗雷德·恩斯特;丹尼爾·埃里克森;哈里森·麥肯齊·沙普特
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06T15/20
• 分類號: G06T15/20;G06T19/00;H04N13/344;H04N13/117;H04N13/366
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李寶泉;周亞榮

一種HMD設備[100]識別所述設備的姿勢[106]，并且基于所述姿勢來識別光場[130]中的多個相機視點的子集[107]。所述HMD設備基于所述姿勢和所述多個相機視點的所述子集來內插所述光場的圖像數據[110]以生成內插視圖[126]；并且基于所述內插視圖來在所述HMD設備顯示圖像。通過基于所述相機視點的所述子集進行內插，所述HMD設備可以減少處理開銷并且改善用戶體驗。

技術領域

本公開大體上涉及頭戴式顯示器(HMD)設備，并且更具體地涉及在HMD設備處使用光場。

背景技術

虛擬現實(VR)和增強現實(AR)系統經常采用HMD設備來向用戶呈現VR或者AR內容。例如，在HMD設備的處理器處執行的VR應用可以基于HMD設備的姿勢來生成圖像，并且經由HMD設備的一個或者多個顯示面板來將生成的圖像呈現給用戶，從而向用戶提供在虛擬空間周圍移動或者環顧虛擬空間的體驗。在一些應用中，對處理速度和其它系統資源的限制意味著VR應用不從頭開始生成每個圖像，而是采用存儲的圖像來表示虛擬空間的至少一部分。為了生成圖像以支持虛擬空間的呈現，一些VR系統采用光場，其中，相機陣列共同記錄場景的圖像。作為結果的圖像集合指示在圖像平面中每個點處的光的強度和方向兩者。這允許VR應用基于HMD設備的姿勢變化來對由相機陣列捕獲到的場景的新視點進行投影，從而向用戶提供他們正在環顧虛擬空間的印象。然而，以充分的速度來對這些視點進行投影以匹配姿勢變化會需要大量的處理器資源，這可能對HMD設備的形狀因子產生負面影響，諸如，通過要求將HMD設備連接至大型計算機系統。可替代地，HMD設備可以針對光場采用分辨率相對較低的圖像，但是所呈現的虛擬空間的最終質量會對用戶體驗產生負面影響。

附圖說明

通過參考附圖，本領域的技術人員可以更好地理解本公開，并且本公開的許多特征和優點對于本領域的技術人員而言將顯而易見。在不同的附圖中使用相同的附圖標記指示相似或者相同的項。

圖1是根據一些實施例的基于HMD設備的姿勢來剔除光場視點和圖像像素的HMD設備的框圖。

圖2是根據一些實施例的在圖1的HMD設備處的光場視點的示例的示意圖。

圖3是圖示了根據一些實施例的采用保守光柵化來剔除光場視點和圖像像素的圖1的HMD設備的示例的示意圖。

圖4是圖示了根據一些實施例的識別用于剔除在圖1的HMD設備處的圖像像素的多邊形的示例的示意圖。

圖5是圖示了根據一些實施例的采用保守光柵化來剔除圖像像素的圖1的HMD設備的示例的示意圖。

圖6是根據一些實施例的在HMD設備處剔除光場視點和圖像像素以生成內插視圖的方法的流程圖。

具體實施方式

圖1至圖6圖示了用于基于HMD設備的姿勢來剔除光場相機視點和圖像像素的技術，從而減少了待在HMD設備處理以在虛擬空間中對新視點進行投影的數據量。HMD設備基于HMD設備的姿勢來識別虛擬空間中的視錐體，并且進一步識別視錐體與光場的相機平面的交叉(intersection)。HMD設備剔除(cull)位于由交叉限定的多邊形的周界之外的至少一些相機視點，并且選擇與剩余的相機視點子集相關聯的存儲圖像。然后，HMD設備相對于剔除的相機視點來識別光線與選擇的圖像的圖像平面的交叉，并且剔除選擇的位于由對應交叉限定的多邊形的周界之外的圖像的至少一些像素。HMD設備采用剩余的像素子集來生成至少一個用于顯示的圖像，該圖像表示虛擬空間中與HMD設備的姿勢對應的視點。