[發明專利]基于節點計算的全景視頻傳輸方法及系統

在審

• 申請號: 201810760053.1
• 申請日: 2018-07-11
• 公開（公告）號: CN110708566A
• 公開（公告）日: 2020-01-17
• 發明（設計）人: 徐異凌;楊琦;謝紹偉;管云峰;柳寧
• 申請（專利權）人: 上海交通大學
• 主分類號: H04N21/234
• 分類號: H04N21/234;H04N21/2343;H04N21/24;H04N21/44;H04N21/4402;H04N21/442
• 代理公司: 31236 上海漢聲知識產權代理有限公司
• 代理人: 莊文莉

1.一種基于節點計算的全景視頻傳輸方法，其特征在于，包括中間節點，所述中間節點執行：

信息獲取步驟：實時獲取用戶終端的反饋信令，所述反饋信令至少包括：用戶視野信息、用戶網絡狀況信息與用戶終端處理能力信息；

拼接步驟：根據所述用戶視野信息計算用戶視野區域，選擇包含用戶視野區域的視頻流進行拼接，得到處理后的視頻流；

傳輸決策步驟：根據所述用戶網絡狀況信息選擇傳輸方案，針對處理后的視頻流提取出傳輸區域，將傳輸區域編碼傳輸至對應的用戶終端；

所述傳輸方案包括無冗余傳輸和冗余傳輸，在所述無冗余傳輸中，所述傳輸區域為所述用戶視野區域，在所述冗余傳輸中，所述傳輸區域為用戶視野區域加冗余區域，所述冗余區域根據所述用戶網絡狀況信息和所述用戶終端處理能力信息計算得到。

2.根據權利要求1所述的基于節點計算的全景視頻傳輸方法，其特征在于，在所述冗余傳輸中，所述傳輸決策步驟還包括：

對所述用戶視野區域以及所述冗余區域進行不等質量編碼傳輸至對應的用戶終端，即降低冗余區域的編碼質量。

3.根據權利要求1所述的基于節點計算的全景視頻傳輸方法，其特征在于，所述反饋信令至少包括：

用戶視野信息：描述用戶當前觀看的視頻內容位置信息；

用戶網絡狀況信息：描述用戶當前網絡的傳輸狀況，包括帶寬和延遲；

用戶終端處理能力信息：描述用戶終端的計算能力，包括吞吐量，響應時間與cpu占用率。

4.根據權利要求1所述的基于節點計算的全景視頻傳輸方法，其特征在于，拼接前的視頻流由攝像機傳輸至所述中間節點，所述攝像機在傳輸視頻流的同時傳遞協助拼接信令，所述協助拼接信令包括：

流覆蓋范圍信息：為包括水平角度信息與豎直角度信息的角度范圍信息，描述當前視頻流最終成像時所涵蓋的區域在整個全景中的位置；

時間戳信息：描述拍攝當前視頻流的時間；

攝像機矩陣信息：包括外參數以及內參數，所述外參數包括攝像機的旋轉矩陣與平移矩陣，旋轉矩陣與平移矩陣共同描述了如何把點從世界坐標系轉換到攝像機坐標系，旋轉矩陣描述世界坐標系的坐標軸相對于攝像機坐標軸的方向，平移矩陣描述了在攝像機坐標系下空間原點的位置；內參數包括焦距及成像平面坐標系到像素坐標系的變換。

5.根據權利要求4所述的基于節點計算的全景視頻傳輸方法，其特征在于，每個攝像機傳輸的視頻流都作為獨立的視頻流傳輸。

6.一種基于節點計算的全景視頻傳輸系統，其特征在于，包括中間節點，所述中間節點包括：

信息獲取模塊：實時獲取用戶終端的反饋信令，所述反饋信令至少包括：用戶視野信息、用戶網絡狀況信息與用戶終端處理能力信息；

拼接模塊：根據所述用戶視野信息計算用戶視野區域，選擇包含用戶視野區域的視頻流進行拼接，得到處理后的視頻流；

傳輸決策模塊：根據所述用戶網絡狀況信息選擇傳輸方案，針對處理后的視頻流提取出傳輸區域，將傳輸區域編碼傳輸至對應的用戶終端；

所述傳輸方案包括無冗余傳輸和冗余傳輸，在所述無冗余傳輸中，所述傳輸區域為所述用戶視野區域，在所述冗余傳輸中，所述傳輸區域為用戶視野區域加冗余區域，所述冗余區域根據所述用戶網絡狀況信息和所述用戶終端處理能力信息計算得到。

7.根據權利要求6所述的基于節點計算的全景視頻傳輸系統，其特征在于，在所述冗余傳輸中，所述傳輸決策模塊還包括：

對所述用戶視野區域以及所述冗余區域進行不等質量編碼傳輸至對應的用戶終端，即降低冗余區域的編碼質量。

8.根據權利要求6所述的基于節點計算的全景視頻傳輸系統，其特征在于，所述反饋信令至少包括：

用戶視野信息：描述用戶當前觀看的視頻內容位置信息；

用戶網絡狀況信息：描述用戶當前網絡的傳輸狀況，包括帶寬和延遲；

用戶終端處理能力信息：描述用戶終端的計算能力，包括吞吐量，響應時間與cpu占用率。