[發明專利]基于空間可伸縮編碼的交互式全景視頻轉碼與播放方法及系統

有效

• 申請號: 201710322335.9
• 申請日: 2017-05-09
• 公開（公告）號: CN107087212B
• 公開（公告）日: 2019-10-29
• 發明（設計）人: 馬漢杰;馮杰
• 申請（專利權）人: 杭州碼全信息科技有限公司
• 主分類號: H04N21/2343
• 分類號: H04N21/2343;H04N21/4402;H04N19/167;H04N19/34
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 胡紅娟

1.一種基于空間可伸縮編碼的交互式全景視頻轉碼與播放方法，包括如下步驟：

(1)通過源地址獲取超高清的原始全景視頻，通過高斯金字塔對原始全景視頻進行空間下采樣，得到多組不同分辨率的空間層視頻數據；這些空間層視頻數據的分辨率從上往下依次減小，即利用高斯核與上一層視頻數據G_i的卷積和移除G_i中的偶數行和偶數列，從而得到當前空間層視頻數據G_i+1，依此得到多組不同分辨率的空間層視頻數據；

(2)將所述空間層視頻數據劃分成多個Tile，每個Tile大小為N×N，N＝2ⁿ且n為大于0的自然數；

(3)根據用戶的pan/tilt/zoom操作指令確定ROI的位置，該ROI即為用戶當前觀看的視頻窗口；具體地，采用卡爾曼濾波算法預測用戶的pan/tilt/zoom操作指令，即用戶播放器終端根據信號與噪聲的狀態空間模型，利用前一時刻pan/tilt/zoom操作指令的估計值和當前時刻pan/tilt/zoom操作指令的觀測值來更新對pan/tilt/zoom操作指令的估計，求出當前時刻pan/tilt/zoom操作指令的估計值，從而確定ROI的位置，并將預測得到的ROI位置信息實時地反饋給轉碼分發服務器，以減少交互延時；

(4)根據用戶播放器終端的分辨率以及各空間層視頻數據的分辨率，基于視頻縮放系數最趨近于1的原則即空間層視頻數據分辨率與用戶播放器終端分辨率最接近的原則，從而選取最適合用戶播放器終端分辨率的一組空間層視頻數據，并將ROI投影到該空間層視頻數據上；

(5)將該空間層視頻數據上ROI所覆蓋占用的Tile轉碼重寫成標準碼流，其余Tile以Skip數據流填充并采用Skip模式進行編碼，進而將得到的視頻碼流傳輸給用戶播放器終端，由終端對其解碼后進行播放顯示。

2.一種基于空間可伸縮編碼的交互式全景視頻轉碼與播放系統，其特征在于：包括用戶播放器終端以及轉碼分發服務器；所述用戶播放器終端用于向轉碼分發服務器提供全景視頻的源地址、終端的本地配置信息以及ROI的位置信息，該ROI即為用戶當前觀看的視頻窗口；所述轉碼分發服務器包括：

空間采樣單元，用于通過源地址獲取超高清的原始全景視頻，通過高斯金字塔對原始全景視頻進行空間下采樣，得到多組不同分辨率的空間層視頻數據；

數據劃分單元，用于將所述空間層視頻數據劃分成多個Tile，每個Tile大小為N×N，N＝2ⁿ且n為大于0的自然數；

匹配投影單元，用于選取最適合用戶播放器終端分辨率的一組空間層視頻數據，并將ROI投影到該空間層視頻數據上；

編碼單元，用于將該空間層視頻數據上ROI所覆蓋占用的Tile轉碼重寫成標準碼流，其余Tile以Skip數據流填充并采用Skip模式進行編碼；

通信傳輸單元，用于將編碼單元生成的視頻碼流傳輸給用戶播放器終端；

所述用戶播放器終端對接收到的視頻碼流解碼后進行播放顯示；

所述空間采樣單元通過高斯金字塔對原始全景視頻進行空間下采樣，得到的多組空間層視頻數據的分辨率從上往下依次減小，即利用高斯核與上一層視頻數據G_i的卷積和移除G_i中的偶數行和偶數列，從而得到當前空間層視頻數據G_i+1，依此得到多組不同分辨率的空間層視頻數據；

所述用戶播放器終端采用卡爾曼濾波算法預測用戶的pan/tilt/zoom操作指令，即用戶播放器終端根據信號與噪聲的狀態空間模型，利用前一時刻pan/tilt/zoom操作指令的估計值和當前時刻pan/tilt/zoom操作指令的觀測值來更新對pan/tilt/zoom操作指令的估計，求出當前時刻pan/tilt/zoom操作指令的估計值，從而確定ROI的位置，并將預測得到的ROI位置信息實時地反饋給轉碼分發服務器，以減少交互延時；

所述匹配投影單元根據用戶播放器終端的分辨率以及各空間層視頻數據的分辨率，基于視頻縮放系數最趨近于1的原則，即空間層視頻數據分辨率與用戶播放器終端分辨率最接近的原則，從而選取最適合用戶播放器終端分辨率的一組空間層視頻數據。