[發明專利]具有用于在建模3D空間中投影觀看的選項的2D視頻

有效

• 申請號: 201710554607.8
• 申請日: 2017-07-07
• 公開（公告）號: CN107590771B
• 公開（公告）日: 2023-09-29
• 發明（設計）人: 布賴斯·雷德;塞繆爾·克瓦倫;加布里埃爾·多托
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06T3/00
• 分類號: G06T3/00
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 周亞榮;安翔

本申請涉及具有用于在建模的3D空間中的投影觀看的選項的2D視頻。多媒體分發系統使得用戶能夠以常規2D或“平面”觀看模式觀看2D視頻內容，或者如果系統是VR/AR使能的并且用戶如此傾向，則可以與2D視頻內容相關聯地提供或訪問建模的3D空間的表示，并且2D視頻內容可以被投影到在建模的3D空間內的指定表面上，以供用戶觀看，就好像2D視頻正在建模的3D空間內的那個表面/位置處被顯示。此外，可以監視用戶的姿態，并相應地更新2D視頻內容的投影以匹配用戶的當前姿態并且觀看到建模的3D空間內。

技術領域

本公開一般涉及多媒體系統，并且更具體地，涉及虛擬現實和增強現實顯示系統。

背景技術

多媒體內容服務器、多媒體光盤播放器和其他多媒體內容源有助于觀看在用戶的電視、監視器、支持計算的手機、支持計算的手表和其他顯示裝置上的二維(2D)視頻內容。隨著消費者級虛擬現實(VR)和增強現實(AR)系統的出現，與VR和AR顯示內容相比，這樣的2D視頻呈現經常缺乏場境(context)或“存在”。然而，在常規的顯示系統中，用戶僅限于在常規的平面顯示模式中觀看2D視頻內容，或者觀看完全無關的VR或AR內容。

發明內容

本發明的一個方面涉及一種在具有頭戴顯示器的顯示系統中的方法，其包括：接收表示二維視頻內容的視頻數據；接收表示建模的三維空間并表示所述建模的三維空間內的表面的模型數據，所述二維視頻內容要被投影在所述表面上；在所述顯示系統處確定二維視圖模式還是三維視圖模式被選擇；以及響應于確定所述三維視圖模式被選擇：確定所述頭戴顯示器的當前姿態；以及經由所述頭戴顯示器提供基于所述當前姿態的所述建模的三維空間的視圖的顯示，其中所述建模的三維空間的所述視圖包括基于所述當前姿態的所述二維視頻內容到所述表面上的投影。

本發明的另一個方面涉及一種顯示系統，其包括：頭戴裝置；耦合到所述頭戴裝置的至少一個處理器；和存儲組件，所述存儲組件耦合到所述至少一個處理器，所述存儲組件存儲所述至少一個處理器能夠訪問的一組可執行指令，其中所述一組可執行指令被配置為操縱所述至少一個處理器以：接收表示二維視頻內容的視頻數據；接收表示建模的三維空間并表示所述建模的三維空間內的表面的模型數據，所述二維視頻內容要被投影在所述表面上；確定二維視圖模式還是三維視圖模式被選擇；以及響應于確定所述三維視圖模式被選擇：確定所述頭戴裝置的當前姿態；以及向所述頭戴裝置提供基于所述當前姿態的所述建模的三維空間的視圖的顯示，其中所述建模的三維空間的所述視圖包括基于所述當前姿態的所述二維視頻內容到所述表面上的投影。

本發明的另一個方面涉及一種在處理裝置中的方法，其包括：確定空間的三維模型；識別所述空間的所述三維模型中的表面，二維視頻內容要被投影在所述表面上；以及提供表示所述二維視頻內容的視頻數據和表示所述空間的所述三維模型的模型數據以用于存儲，以便對顯示系統的后續訪問能夠使用。

本發明的再另一個方面涉及一種處理裝置，其包括：至少一個處理器；和耦合到所述至少一個處理器的存儲組件，所述存儲組件存儲一組可執行指令，所述一組可執行指令用于操縱所述至少一個處理器以：確定空間的三維模型；識別所述空間的所述三維模型中的表面，二維視頻內容要被投影在所述表面上；以及提供表示所述二維視頻內容的視頻數據和表示所述空間的所述三維模型的模型數據以用于存儲，以便對顯示系統的后續訪問能夠使用。

附圖說明

通過參考附圖，本公開可以被更好地理解，并且使得其許多特征和優點對于本領域技術人員而言是顯而易見的。在不同附圖中使用相同的附圖標記表示相似或相同的項目。

圖1是圖示出根據一些實施例的多媒體分發系統的框圖。

圖2是圖示出根據一些實施例的將2D視頻內容投影到在建模的3D空間中的指定位置的圖。

圖3是圖示出根據一些實施例的為2D視頻流提供2D/3D顯示選項的多媒體應用的圖。