[發(fā)明專利]一種實時傳輸高分辨率多視點立體視頻的方法

無效

• 申請?zhí)枺?/td>: 201210068595.5
• 申請日: 2012-03-15
• 公開（公告）號: CN102625125A
• 公開（公告）日: 2012-08-01
• 發(fā)明（設計）人: 周圓;張凌寒;侯春萍
• 申請（專利權）人: 天津大學
• 主分類號: H04N13/00
• 分類號: H04N13/00;H04N7/26
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 程毓英

技術領域

本發(fā)明涉及視頻傳輸領域，更具體的是一種的多視點、高分辨率立體視頻的傳輸方法。

背景技術

多視點立體視頻技術在當前的圖像和視頻研究領域是最重要的發(fā)展趨勢之一。多視點視頻系統(tǒng)同時從多個角度獲取同一場景的視頻序列，并遠程傳輸這些視頻數(shù)據(jù)流。場景可以交互顯示，用戶可以從多個角度旋轉(zhuǎn)檢視，體驗身臨其境的感覺。

然而，多視點立體視頻與基于平面顯示的業(yè)務不同，由于含有多個視點的視頻信息，其數(shù)據(jù)量更為龐大。由于巨大的數(shù)據(jù)量和復雜的處理要求，目前包括IPv6在內(nèi)的網(wǎng)絡環(huán)境和通信信道對傳輸立體視頻的能力十分有限，還遠不能滿足要求。因此，基于多視點立體顯示的業(yè)務給觀眾帶來更大的沖擊感和震撼感的同時，也對傳輸技術提出了更高的要求。高比特率的多視點視頻處理對于內(nèi)容提供商和最終用戶來說是一個重要的挑戰(zhàn)。即使經(jīng)過先進的壓縮技術處理后，多視點視頻的仍然有很高的數(shù)據(jù)量。最近在學術文獻中提出了多種視頻傳輸方案：在最終用戶方面，已經(jīng)有學者從事選擇性數(shù)據(jù)流這方面的工作，根據(jù)觀看者的頭部位置，將必要的部分多視點視頻編碼成數(shù)據(jù)流。目前已經(jīng)提出的方法有使用不等重要片組以適應FMO到MVC的轉(zhuǎn)換，率失真算法，以為每個質(zhì)量層確定來源和通道。其他方案，如數(shù)據(jù)分割系統(tǒng)使用Turbo碼來實現(xiàn)通道保護。但是由于RS碼和Turbo碼較高的計算成本，不適合在實時系統(tǒng)中應用。

在3DTV流通過IP網(wǎng)絡傳輸?shù)难芯恐校壳耙呀?jīng)提出的方法有：利用NUEPMuT協(xié)議通過多樹點對點(P2P)網(wǎng)絡來傳輸多視點視頻流；使用一個有效應用于可擴展的立體視頻編碼的層提取方法，以實現(xiàn)在任何給定的視頻數(shù)據(jù)包之間有效地分配比特率預算；面向IP網(wǎng)絡的多視點視頻失真估計模型，以遞歸公式的形式在幀水平(frame-level)上建立了以MSE為指標的、任意丟包模式下的多視點視頻失真估計模型，進而擴展到GGoP水平的失真估計模型。一些學術機構和企業(yè)也展示了應用在IP網(wǎng)絡上的多視點立體視頻服務的原型系統(tǒng)。微軟亞洲研究院提出了一個可提供實時、互動和可靠的多視點視頻服務系統(tǒng)架構。MERL(三菱電子研究實驗室)提出了多視點3DTV原型系統(tǒng)與實時采集、傳輸和自動立體顯示。GIST(Gwanangu?Instituteof?Science&Technology)利用多對高清攝像機和基于軟件的視頻接收機，提出了一個符合成本效益的多視點高清視頻傳輸系統(tǒng)。多視點視頻編碼(MVC模式)雖然提供了較高的壓縮比，但其編解碼的復雜度太高，因此尚未應用于實時傳輸系統(tǒng)。一般來說，這些實用系統(tǒng)同時傳輸和播放被分別進行獨立編碼的多視點視頻。

高分辨率多視點立體視頻涉及龐大的數(shù)據(jù)量并且在實時傳輸上具有更高的要求，本發(fā)明就此提出了一種在IP網(wǎng)絡上實時傳輸高分辨率多視點立體視頻的有效方法。

發(fā)明內(nèi)容

本發(fā)明的目的是，克服現(xiàn)有技術的上述不足，提出一種在現(xiàn)有有限資源的基礎上，能夠?qū)崿F(xiàn)高清多視點視頻的可靠和實時傳輸?shù)姆椒ā１景l(fā)明的技術方案如下：

一種實時傳輸高分辨率多視點立體視頻的方法，用于IP網(wǎng)絡視頻傳輸中，包括下列步驟：

(1)對多視點立體視頻的每個視點的視頻流進行獨立編碼；

(2)將編碼后的多視點立體視頻按照視點的不同，分成兩組進行分組處理，對每組視頻進行如下的步驟(3)-(4)的數(shù)據(jù)包合成處理；

(3)對于組內(nèi)的每個視點，讀取視頻流里的每個NAL單元，根據(jù)NAL單元的頭部信息判斷是否包含具體圖像數(shù)據(jù)，分離出包含具體圖像數(shù)據(jù)的NAL單元，從而得到包含組內(nèi)一個僅包含具體圖像數(shù)據(jù)的新的視頻數(shù)據(jù)流；

(4)對新的視頻數(shù)據(jù)流進行數(shù)據(jù)包合成處理，將在不同視點的同一位置包含具體圖像數(shù)據(jù)的NAL單元處理成一個混合包，新的混合包的頭部采用和不同視點的NAL單元頭部完全相同的參數(shù)，而主體部分由同一位置處的各個NAL單元的主體按照編號順序組成；

(5)將經(jīng)過數(shù)據(jù)包合成處理的各組視頻，分別通過不同IP信道進行傳輸；

(6)將經(jīng)過步驟3)分離出的不包含具體圖像數(shù)據(jù)的NAL單元采用單獨的信道進行傳輸。

上述實時傳輸高分辨率多視點立體視頻的方法，步驟(1)可采用H.264/AVS格式獨立編碼。