[發明專利]用于改進的沉浸式內容流化的方法和裝置

在審

• 申請號: 201610943589.8
• 申請日: 2016-10-26
• 公開（公告）號: CN107037875A
• 公開（公告）日: 2017-08-11
• 發明（設計）人: S·S·馬特;I·D·D·柯西奧
• 申請（專利權）人: 諾基亞技術有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 北京市中咨律師事務所11247
• 代理人: 楊曉光,于靜

技術領域

本發明的實例實施例一般地涉及沉浸式內容的傳輸，并且更具體地說，涉及用于沉浸式內容的帶寬高效的傳輸的方法和裝置。

背景技術

一種類型的沉浸式內容包括全方向內容。全方向內容的捕獲通常涉及多個攝像機(使用常規或魚眼鏡頭)，并且來自此類攝像機的視圖允許生成全方向內容。傳統上，當與由單個攝像機生成的內容的流化相比時，使這種類型的內容流化需要大帶寬承諾。但是，對于許多用戶而言，奉獻此類大量帶寬不切合實際，并且在許多情況下，甚至是不可能的。

發明內容

Oculus最佳實踐指南(可從http://static.oculus.com/sdk-downloads/documents/Oculus_Best_Practices_Guide.pdf處獲得)包括用于使用一個卓越平臺呈現沉浸式內容的多個最佳實踐。該最佳實踐指南聲明“[t]he display should respond to head-tracking and viewpoint changes at all times,without exception.Even when the game is paused or displaying a cutscene,users should be able to look around.(顯示應該始終響應頭部跟蹤和視點變化，而沒有異常。即使當游戲暫停或顯示劇情畫面時，用戶也應該能夠環視。)”此外，最佳實踐指南聲明“users must always have the freedom to look around the environment,which can add new requirements to the design of your content.(用戶必須始終有自由環視環境，這可以向你的內容設計添加新要求。)”這些建議例示呈現提供頭部移動自由的無縫查看體驗的期望。與沉浸式內容的傳統流化模式需要顯著帶寬承諾的事實結合，這些建議展示需要多個攝像機流，它們可由用戶以感覺不到延遲訪問以便提供令人滿意的用戶體驗。

相應地，在此描述的實例實施例包括用于沉浸式內容的帶寬高效的流化的方法、系統和裝置，所述方法、系統和裝置解決上述要求而不損害沉浸式用戶體驗。為此，實例實施例利用多個緩沖區，它們在不同質量級別存儲沉浸式內容的不同部分。具體地說，實例實施例利用常規流化緩沖區，它們在當前視圖緩沖區(CVB)中累積完全消費質量內容。存儲在CVB中的內容通常源自沉浸式內容的對應于用戶當前視圖的攝像機視圖。但是同時，此類實施例針對與當前視圖相鄰的一個或多個視圖利用預取緩沖區(PFB)，并且這些PFB存儲中間或完全消費質量內容。最后，此類實施例還可以針對快速頭部移動利用自由視點緩沖區(FVB)，并且這些緩沖區存儲低質量全景內容。

在第一實例實施例中，提供一種用于沉浸式內容的帶寬高效的流化的方法。所述方法包括：導致由沉浸式內容捕獲模塊生成沉浸式內容；從存儲器取回與當前視圖緩沖區(CVB)、一個或多個預取緩沖區(PFB)、以及自由視點緩沖區(FVB)相關的緩沖區信息；以及導致由流化服務器基于所取回的與所述CVB、所述一個或多個PFB以及所述FVB相關的緩沖區信息，將所述沉浸式內容的多個部分傳輸到沉浸式內容查看系統。

在某些實施例中，所述方法進一步包括由沉浸式自適應模塊從沉浸式內容查看系統接收與所述CVB、所述一個或多個PFB或所述FVB中的一者或多者相關的信令消息；以及由沉浸式自適應模塊基于所接收的信令消息更新與所述CVB、PFB或所述FVB相關的所述緩沖區信息。

在一個此類實施例中，所述方法可以進一步包括導致由所述流化服務器傳輸標識可用攝像機視圖、對應于每個所述可用攝像機視圖的攝像機索引(index)以及對應于每個所述可用攝像機視圖的視場的信令消息，其中響應于傳輸標識所述可用攝像機視圖、對應于每個所述可用攝像機視圖的所述攝像機索引以及對應于每個所述可用攝像機視圖的所述視場的所述信令消息，接收與所述CVB、所述一個或多個PFB或所述FVB中的所述一者或多者相關的所述信令消息。

在另一個此類實施例中，所述信令消息標識與所述CVB關聯的一個或多個攝像機索引。在另一個此類實施例中，所述信令消息標識與所述一個或多個PFB關聯的一個或多個攝像機索引。在這點上，所述信令消息可以標識內容質量級別，并且傳輸到沉浸式內容查看系統的所述沉浸式內容的所述多個部分可以進一步基于所述內容質量級別。