[發明專利]流式傳輸虛擬現實視頻

有效

• 申請號: 201780056930.0
• 申請日: 2017-07-06
• 公開（公告）號: CN109691113B
• 公開（公告）日: 2022-02-08
• 發明（設計）人: H.M.斯特金;A.霍澤
• 申請（專利權）人: 皇家KPN公司;荷蘭應用自然科學研究組織
• 主分類號: H04N21/218
• 分類號: H04N21/218;H04N21/262;H04N21/462;H04N21/6587;H04N21/81;H04N21/845
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 劉書航;申屠偉進

提供了改進的虛擬現實[VR]視頻到VR呈現設備的流式傳輸。VR視頻可以由多個流表示，每個流與場景的不同視圖相關聯。可以確定要由VR呈現設備呈現的場景的視圖。可以標識對呈現場景的視圖所需要的流子集。可以通過將多個流從流源流式傳輸到在流源的下游和在VR呈現設備的上游的轉發節點來實現將流子集流式傳輸到VR呈現設備，并且響應于必須由VR呈現設備呈現的視圖，選擇性地將流子集從轉發節點轉發到VR呈現設備。照此，可以降低流之間的切換時延。即，可以持續地使針對呈現當前視圖不需要但是針對呈現下一視圖可能需要的流在VR呈現設備附近的網絡節點處可用。

技術領域

本發明涉及向VR呈現設備流式傳輸虛擬現實[VR]視頻的方法。本發明還涉及包括用于引起處理器系統執行所述方法的指令的計算機程序、VR呈現設備以及用于在VR視頻的流式傳輸中使用的轉發節點。

背景技術

虛擬現實（VR）涉及計算機技術的使用來在虛擬環境中仿真用戶的物理存在。典型地，VR呈現設備利用頭戴式顯示器（HMD）來向用戶呈現虛擬環境，雖然也可以使用包括但不限于全息術和洞穴自動虛擬環境的其它類型的VR顯示器和呈現技術。

使用這類VR呈現設備來呈現VR視頻是已知的，所述VR視頻例如為適用于由VR呈現設備播放的視頻。VR視頻可以提供場景的全景視圖，其中術語“全景視圖”指代例如至少180度的視圖。VR視頻甚至可以提供更大的視圖（例如360度），從而向用戶提供更加沉浸式的體驗。

VR視頻可以作為單個視頻流被流式傳輸到VR呈現設備。然而，如果要以高質量并且可能地以3D來流式傳輸整個全景視圖，則這即使在使用現代視頻編碼技術時也可能要求大量帶寬。例如，帶寬要求可能容易地達到數十或數百Mbps。由于VR呈現設備經由帶寬受限接入網絡（例如，數字用戶線路（DSL）或無線LAN（WLAN）連接）頻繁地流式傳輸視頻流，因此單個視頻流的流式傳輸可能對接入網絡造成大的負擔，或者這類流式傳輸甚至可能根本不可行。例如，歸因于重新緩沖，播放可能頻繁中斷，立即結束對用戶的任何沉浸。而且，這類大的視頻流的接收、解碼和處理可能導致高計算負荷和/或高功耗，這兩者對于很多設備、尤其移動設備是不利的。

已經意識到，VR視頻的大部分可能并不是在時間上的任何給定時刻對用戶是可見的。對此的原因是VR呈現設備的顯示器的視場（FOV）典型地顯著小于VR視頻的視場。例如，HMD可以提供100度FOV，這顯著小于例如VR視頻所提供的360度。

照此，已經提出了僅流式傳輸VR視頻的當前對于VR呈現設備的用戶可見的部分。例如，VR視頻可以在空間上被分段成多個不重疊的視頻流，每個視頻流提供場景的不同視圖。當用戶例如通過旋轉他/她的頭部來改變視角時，VR呈現設備可以確定需要另一視頻流（此后也簡稱為“新”視頻流）并且通過從流源請求新視頻流來切換到新視頻流。

不利地，用戶物理地改變視角與VR呈現設備實際呈現新視圖之間的延遲可能太大。該延遲此后也稱為“切換時延”，并且歸因于延遲的聚集而是相當大的，其中請求新視頻流與新視頻流實際到達VR呈現設備之間的延遲通常是最大的。其它典型較小的延遲包括歸因于視頻流的解碼的延遲、頭部旋轉的測量的延遲等。

已經做出各種嘗試來解決時延問題。例如，已知將多個視頻流分段成部分重疊的視圖，從而提供包含恰好在當前視圖外部的視頻內容的所謂“保護帶”。保護帶的大小典型地取決于頭部旋轉的速度和切換視頻流的時延。不利地，給定特定的帶寬可用性，給定一定量的可用帶寬，保護帶的使用降低視頻質量，這是因為較少的帶寬可用于對用戶實際可見的視頻內容。還已知例如通過預測用戶的頭部旋轉來預測將需要哪個視頻流，并提前請求新視頻流。然而，如在保護帶的情況下，然后還分配帶寬用于流式傳輸不可見的視頻內容，從而降低可用于流式傳輸當前可見的視頻內容的帶寬。

還已知在新視頻流的傳輸中優先考慮I幀。在此，術語I幀指代圖像組（GOP）中的可獨立解碼的幀。雖然這確實可以降低切換時延，但是降低量可能不足夠。特別地，對I幀的優先考慮不解決在請求新視頻流和新視頻流的包實際到達VR呈現設備之間典型地相當大的延遲。