[發明專利]基于空間可伸縮編碼的交互式全景視頻轉碼與播放方法及系統

有效

• 申請號: 201710322335.9
• 申請日: 2017-05-09
• 公開（公告）號: CN107087212B
• 公開（公告）日: 2019-10-29
• 發明（設計）人: 馬漢杰;馮杰
• 申請（專利權）人: 杭州碼全信息科技有限公司
• 主分類號: H04N21/2343
• 分類號: H04N21/2343;H04N21/4402;H04N19/167;H04N19/34
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 胡紅娟

本發明公開了一種基于空間可伸縮編碼的交互式全景視頻轉碼與播放方法及系統，其將原始視頻分成多個分辨率不同的空間層視頻數據，再將每層數據按tile形式劃分，根據用戶的操作指令將ROI投影到各層視頻上，基于視頻縮放系數最趨近于1的原則，選擇最合適的空間層視頻數據以及對應的Tile，進行轉碼重寫，其他未選定的數據則以skip數據流填充以減少帶寬，保證兼容性。本發明能夠根據不同的帶寬環境，給用戶播放最適合播放窗口分辨率的視頻數據，具有空間可伸縮、空間分辨率自適應匹配等特點，能夠使用戶更好的享受交互視頻的自然場景或虛擬場景的三維沉浸視覺感受、無縫式視點切換與靈活的人機交互特性。

技術領域

本發明屬于交互式全景視頻轉碼與播放技術領域，具體涉及一種基于空間可伸縮編碼的交互式全景視頻轉碼與播放方法及系統。

背景技術

交互式全景視頻是興起的一種新型媒體，它在傳統的二維視頻的基礎上，增加了視覺的現實感和逼真感，它允許用戶自由的選擇視點與視角以獲得其所感興趣的視頻內容。交互性是這種媒體的重要特征。

2001年，國際音視頻標準組織MPEG成立研究組，對三維音視頻3DAV技術展開探索性研究，ITU-T的視頻編碼專家組VCEG與MPEG成立的聯合視頻專家組JVT也對3DAV編碼標準的進行研究與制定。3DAV的主要研究目標是拓展現有標準視頻所具有的功能，向用戶提供：(1)交互性，在一個場景中允許用戶自主地選擇場景視點；(2)沉浸感，提供給用戶具有深度感和臨境感的視頻服務。

對于全景視頻，通常使用360度全景瀏覽器在顯示器上顯示，需通過鼠標控制視口進行360度觀看，某時刻觀察到的圖像僅是全景圖像的一部分。而對于整個全景視頻播放系統而言，服務器需要將每幀全景視頻數據發送給播放終端，因此浪費大量的傳輸帶寬和計算資源。

針對這一問題，國際國內許多研究機構與企業提出了改進方法。長春理工大學的權巍等人提出了一種基于CAVE的交互式全景視頻顯示方法，其使用五個虛擬相機對該全景視頻映射球面的四面及頂面進行拍攝，并將所得五幅圖像分別投影到CAVE系統中各投影幕中；美國北卡羅來納大學的Srihari Pratapa等人提出了一種針對視頻顯示圖像進行紋理壓縮的方法；韓國電信研究院的Seong Yong Lim等人提出了一種基于Tile分塊顯示的基于MPEG-DASH協議的全景視頻傳輸系統；挪威奧斯陸大學的Vamsidhar Reddy Gaddam等人也提出了一種針對全景視頻的Tile劃分方法。以上這些改進方法，基本思想均是將全景視頻劃分為固定數據量的多塊數據，只傳輸用戶觀看的部分，能夠部分緩解傳輸帶寬占用的壓力，但是未考慮接收播放終端的計算能力、網絡狀態的動態變化以及用戶互動操作pan/tilt/zoom(平移/旋轉/縮放)等指令的特點，因此實際使用效果還有待改進。

發明內容

本發明針對交互式全景視頻數據量大、收播放終端的計算能力多樣化、網絡帶寬動態變化以及用戶互動操作pan/tilt/zoom等指令的特點，提出了一種基于空間可伸縮編碼的交互式全景視頻轉碼與播放方法及系統，能夠在降低傳輸帶寬的同時，針對播放終端、網絡狀態和用戶互動操作指令提供合適的視頻數據，大大增強播放終端的用戶體驗。

一種基于空間可伸縮編碼的交互式全景視頻轉碼與播放方法，包括如下步驟：

(1)通過源地址獲取超高清的原始全景視頻，通過高斯金字塔對原始全景視頻進行空間下采樣，得到多組不同分辨率的空間層視頻數據；

(2)將所述空間層視頻數據劃分成多個Tile，每個Tile大小為N×N，N＝2ⁿ且n為大于0的自然數；

(3)根據用戶的pan/tilt/zoom操作指令確定ROI(感興趣區域)的位置，該ROI即為用戶當前觀看的視頻窗口；

(4)選取最適合用戶播放器終端分辨率的一組空間層視頻數據，并將ROI投影到該空間層視頻數據上；