[發(fā)明專利]多視角視頻碼流的實時傳輸同步控制方法

無效

• 申請?zhí)枺?/td>: 200910049012.2
• 申請日: 2009-04-09
• 公開（公告）號: CN101600099A
• 公開（公告）日: 2009-12-09
• 發(fā)明（設(shè)計）人: 許冠宇;周軍;何子由
• 申請（專利權(quán)）人: 上海交通大學
• 主分類號: H04N7/24
• 分類號: H04N7/24;H04N13/00
• 代理公司: 上海交達專利事務所
• 代理人: 王錫麟;王桂忠

技術(shù)領(lǐng)域

本發(fā)明涉及一種圖像通信技術(shù)領(lǐng)域的控制方法，具體是一種多視角視頻碼流的實時傳輸同步控制方法。?

背景技術(shù)

網(wǎng)絡立體電視系統(tǒng)除涉及到立體電視相關(guān)的節(jié)目制作、立體電視視頻格式、立體視頻壓縮編碼及碼流的系統(tǒng)復用、立體電視視頻碼流的解碼、立體電視顯示等多個環(huán)節(jié)外，由于立體視頻比傳統(tǒng)的平面二維視頻具有更多視角的同步視頻需要編碼、傳輸，在與網(wǎng)絡電視傳輸技術(shù)結(jié)合時，更涉及到多視角同步立體視頻信號的網(wǎng)絡同步可信傳輸與控制。基于向下兼容性的考慮，即多視角立體視頻不僅要能滿足自由視立體顯示終端的要求，同時也要滿足戴眼鏡的雙視立體顯示終端或傳統(tǒng)平面電視終端的要求，同時考慮接入網(wǎng)絡傳輸帶寬的利用效率，多視角立體視頻碼流傳輸時必須做到傳輸帶寬與各類異構(gòu)終端的自匹配，即要求各個視角編碼后的視頻碼流能夠分離獨立傳輸，終端可以選擇性地接收單個視角、其中兩個視角或者全部視角的視頻碼流。針對這一點，多視角立體視頻傳輸方法大致分兩類，一類可以稱為軟分離，即通過設(shè)置包頭標記以區(qū)分碼流中來自不同視角的數(shù)據(jù)包，但這種方法并沒有實現(xiàn)真正的多視角立體視頻碼流分離，而是采用時分復用的模式通過單個實時傳輸流進行傳輸。另一類可以稱為硬分離，即將各個視角的碼流分離后通過不同的實時傳輸流發(fā)送，但需要解決各視角碼流間的同步問題。在終端，多視角碼流只有同步接收、解碼并播放，才能產(chǎn)生良好的立體效果。但由于包交換網(wǎng)絡的復雜性、時延差異存在的客觀性，以及不同的阻塞狀況而產(chǎn)生的時延、抖動和丟包，很難保證多視角碼流的同步接收。所以，無論是軟分離還是硬分離方案，多視角獨立傳輸系統(tǒng)都需要使用一套同步控制機制，包括應用RTP(Real-time?Transport?Protocol??實時傳輸協(xié)議)協(xié)議的同步機制，來協(xié)調(diào)各個視角碼流的同步問題。?

經(jīng)典的MVP(Multi-View?Profile多視角檔次)方案只支持兩個視角，主視?角以普通MPEG-2方式編碼，第二個視角信息作為增強層與主視角合成后直接通過MPEG-2的TS流傳輸。在這種方案中兩個視角是高度耦合的，優(yōu)點在于不需要額外的同步機制，兩個視角碼流天然同步，直接依賴傳統(tǒng)單視角傳輸方案傳輸。缺點是不能實現(xiàn)視角分離，給傳統(tǒng)單視角用戶帶來額外的網(wǎng)絡負擔。同時，這種方案由于增強層數(shù)量的有限，也就限制了視角數(shù)目的擴展，無法適應兩個以上視角的應用。?

經(jīng)對現(xiàn)有技術(shù)文獻的檢索發(fā)現(xiàn)，在應用MVC(Multi-View?Coding多視角視頻編碼)方案的多視角系統(tǒng)中，普遍的各視角視頻同步方法具有代表性的比如Jongryool?Kim和JongWon?Kim于2008年5月在IEEE?Transact?ions?on?ConsumerElectronics(IEEE消費電子學報)(vol.54，No.2)上發(fā)表的“Real-TimeSynchronous?Multi-View?Video?Transport?System”(實時多視角視頻傳輸系統(tǒng)同步方法)一文，針對多視傳輸方案進行了探討，并設(shè)計了一套多視碼流同步控制機制，同步方法簡述如下，各視角視頻之間依靠視頻采集時增加硬件同步時鐘的方法來實現(xiàn)，網(wǎng)絡傳輸時采用軟分離的方式，簡單地依靠實時傳輸流協(xié)議(RTP協(xié)議)中的包序號來進行各視角視頻碼流的內(nèi)部同步。該設(shè)計方案在特定實驗環(huán)境下可以應用，但存在如下缺點：1、該方案各視角視頻碼流間同步完全依賴硬件同步時鐘，視頻采集時必須配備精確的硬件同步設(shè)備，系統(tǒng)造價高昂。2、該方案采用軟分離的方式進行多視角碼流分離，只能在四層協(xié)議以上才能區(qū)分視角，而一般的路由交換設(shè)備只能解析到三層協(xié)議，這對整個傳輸路徑中的路由設(shè)備提高了要求。3、該方案簡單采用時分復用模式，傳統(tǒng)平面解碼顯示終端接收單視角碼流時，接收瞬時碼率呈現(xiàn)方塊效應，碼流極不穩(wěn)定，需要終端網(wǎng)絡接收設(shè)備有更強的抗抖動能力。4、傳輸流參數(shù)擴展設(shè)置只支持左右視碼流，不適用兩個以上視角的多視視頻碼流的傳輸，限制的系統(tǒng)的應用范圍。?

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種有效的多視角視頻碼流實時傳輸同步控制方法。本發(fā)明在MVC多視角視頻碼流分離編碼的基礎(chǔ)上，對各個視角視頻碼流進行緩沖平滑重整，從根本上有效改善視頻碼流傳輸時由于視角各異造成的巨大碼率抖動，提高多視角視頻碼流實時傳輸質(zhì)量。?

本發(fā)明是通過以下技術(shù)方案實現(xiàn)的，本發(fā)明包括以下步驟：?

第一步：對編碼器生成的多視角復用碼流進行解析，將各碼流分離后分別緩沖到為各個視角獨立設(shè)置的緩沖隊列；?