[發明專利]基于節點計算的全景視頻傳輸方法及系統

在審

• 申請號: 201810760053.1
• 申請日: 2018-07-11
• 公開（公告）號: CN110708566A
• 公開（公告）日: 2020-01-17
• 發明（設計）人: 徐異凌;楊琦;謝紹偉;管云峰;柳寧
• 申請（專利權）人: 上海交通大學
• 主分類號: H04N21/234
• 分類號: H04N21/234;H04N21/2343;H04N21/24;H04N21/44;H04N21/4402;H04N21/442
• 代理公司: 31236 上海漢聲知識產權代理有限公司
• 代理人: 莊文莉

本發明提供了一種基于節點計算的全景視頻傳輸方法及系統，包括中間節點，實時獲取用戶終端的反饋信令，其中，根據用戶視野信息計算用戶視野區域，選擇包含用戶視野區域的視頻流進行拼接，得到處理后的視頻流；根據用戶網絡狀況信息選擇傳輸方案，針對處理后的視頻流提取出傳輸區域，將傳輸區域編碼傳輸至對應的用戶終端；傳輸方案包括無冗余傳輸和冗余傳輸，在無冗余傳輸中，傳輸區域為用戶視野區域，在冗余傳輸中，傳輸區域為用戶視野區域加冗余區域，冗余區域根據用戶網絡狀況信息和用戶終端處理能力信息計算得到。本發明通過結合用戶終端的反饋信令，可以有效降低處理時延、減少帶寬開銷，從而整體提高用戶的消費體驗。

技術領域

本發明涉及節點計算及視頻處理領域，具體地，涉及基于節點計算的全景視頻傳輸方法及系統。

背景技術

隨著沉浸式媒體的迅速發展，虛擬現實(Virtual Reality，VR)應用到越來越多的消費場景，例如游戲、比賽直播等。在這些場景中，往往要求具有較低的響應時延以保證用戶不會產生眩暈感，這對數據的傳輸時延提出了更高的要求。但全景視頻作為VR中的一種基本數據格式，數據量巨大且處理較為復雜。一般全景視頻的產生需要多路攝像機覆蓋360度范圍進行數據收集，如圖1所示，然后通過拼接、渲染，將多路視頻拼接成一個球形數據，然后供用戶消費。其中拼接這一過程比較復雜，在本地處理器能力有限的情況下，往往會產生一定時延。在直播場景下，這種時延會對用戶的體驗會造成一定的影響。但事實上用戶在觀看全景視頻時只關注其中部分內容，進行完整拼接是沒有必要的，并且節點計算逐步發展成熟，將全景視頻的部分處理放入中間節點是切實可行的。

發明內容

針對現有技術中的缺陷，本發明的目的是提供一種基于節點計算的全景視頻傳輸方法及系統。

根據本發明提供的一種基于節點計算的全景視頻傳輸方法，包括中間節點，所述中間節點執行：

信息獲取步驟：實時獲取用戶終端的反饋信令，所述反饋信令至少包括：用戶視野信息、用戶網絡狀況信息與用戶終端處理能力信息；

拼接步驟：根據所述用戶視野信息計算用戶視野區域，選擇包含用戶視野區域的視頻流進行拼接，得到處理后的視頻流；

傳輸決策步驟：根據所述用戶網絡狀況信息選擇傳輸方案，針對處理后的視頻流提取出傳輸區域，將傳輸區域編碼傳輸至對應的用戶終端；

所述傳輸方案包括無冗余傳輸和冗余傳輸，在所述無冗余傳輸中，所述傳輸區域為所述用戶視野區域，在所述冗余傳輸中，所述傳輸區域為用戶視野區域加冗余區域，所述冗余區域根據所述用戶網絡狀況信息和所述用戶終端處理能力信息計算得到。

較佳的，在所述冗余傳輸中，所述傳輸決策步驟還包括：

對所述用戶視野區域以及所述冗余區域進行不等質量編碼傳輸至對應的用戶終端，即降低冗余區域的編碼質量。

較佳的，所述反饋信令至少包括：

用戶視野信息：描述用戶當前觀看的視頻內容位置信息；

用戶網絡狀況信息：描述用戶當前網絡的傳輸狀況，包括帶寬和延遲；

用戶終端處理能力信息：描述用戶終端的計算能力，包括吞吐量，響應時間與cpu占用率。

較佳的，拼接前的視頻流由攝像機傳輸至所述中間節點，所述攝像機在傳輸視頻流的同時傳遞協助拼接信令，所述協助拼接信令包括：

流覆蓋范圍信息：為包括水平角度信息與豎直角度信息的角度范圍信息，描述當前視頻流最終成像時所涵蓋的區域在整個全景中的位置；

時間戳信息：描述拍攝當前視頻流的時間；