[發(fā)明專利]對多視圖視頻進(jìn)行統(tǒng)一編碼的裝置

無效

• 申請?zhí)枺?/td>: 201110218945.7
• 申請日: 2005-12-09
• 公開（公告）號: CN102263962A
• 公開（公告）日: 2011-11-30
• 發(fā)明（設(shè)計(jì)）人: 金大熙;尹國鎮(zhèn);曹叔嬉;安忠鉉;李壽寅
• 申請（專利權(quán)）人: 韓國電子通信研究院
• 主分類號: H04N7/32
• 分類號: H04N7/32;H04N7/26
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 李芳華

本申請為2005年12月09日提交的、申請?zhí)枮?00580047997.5、發(fā)明名稱為“對多視圖視頻進(jìn)行統(tǒng)一編碼的裝置”的申請案的分案申請。

技術(shù)領(lǐng)域

本發(fā)明涉及一種用于多視圖視頻的統(tǒng)一編碼/解碼的裝置及其方法；更具體地，涉及一種用于通過補(bǔ)償多個隨機(jī)排列的照相機(jī)的不同特性(例如照相機(jī)參數(shù)、以及每個照相機(jī)視點(diǎn)的顏色)、并且對當(dāng)前正在被編碼的視點(diǎn)的畫面進(jìn)行預(yù)測編碼以便借助預(yù)測多視圖視頻而對多視圖視頻進(jìn)行編碼的統(tǒng)一多視圖視頻編碼裝置及其方法，一種統(tǒng)一多視圖視頻解碼裝置及其方法。

背景技術(shù)

為了提供現(xiàn)實(shí)的視頻服務(wù)，已經(jīng)在各種應(yīng)用領(lǐng)域普遍使用多視圖視頻。但是，利用常規(guī)的編碼方案，壓縮與編碼多視圖視頻需要寬得多的帶寬，這是因?yàn)槎嘁晥D視頻數(shù)據(jù)為與視點(diǎn)的數(shù)目的倍數(shù)一樣多的海量數(shù)據(jù)。

MPEG-2視頻解碼器與H.264視頻編碼器被廣泛用作單視圖視頻編碼器與解碼器。MPEG-2視頻解碼器為數(shù)字TV代表的解碼器。另外，H.264視頻編碼器一般用于高效率壓縮與數(shù)字多媒體廣播(DMB)服務(wù)。但是，此類單視圖視頻編碼器不適于傳送多視圖視頻數(shù)據(jù)，這是因?yàn)閱我晥D編碼器沒有有效地利用相鄰視點(diǎn)的畫面之間的冗余信息。

已經(jīng)引入了各種常規(guī)編碼技術(shù)來處理多個畫面，例如處理兩個視點(diǎn)的立體視頻(stereoscopic?video)的編碼方法，以及基于三維對象、或者不考慮三維對象地基于多個照相機(jī)的排列而處理多于3個視點(diǎn)的多視頻數(shù)據(jù)的另一種編碼方法。

使用MPEG-2多視圖簡檔(multi-view?profile?MVP)與MPEG-4時間可擴(kuò)展性(temporal?scalability?TS)的常規(guī)編碼技術(shù)被廣泛用于編碼立體視頻。

此后，將首先描述主要背景技術(shù)H.264，然后描述MPEG-2多視圖簡檔(MVP)。

MPEG-visual與H.263為視頻壓縮技術(shù)的標(biāo)準(zhǔn)。在頒布H.263之后，運(yùn)動畫面專家組(MPEG)與視頻編碼專家組(VCEG)一起進(jìn)行了研究，以定義下一代壓縮技術(shù)的新標(biāo)準(zhǔn)，該下一代壓縮技術(shù)提供高壓縮率且同時滿足高品質(zhì)、低比特率流傳送視頻。

在定義H.263標(biāo)準(zhǔn)之后，ITU-T的VCEG開始進(jìn)行研究，以定義H.263版本2標(biāo)準(zhǔn)以及ITU-T?H.26L。通過向H.263添加補(bǔ)充功能，定義了H.263版本2，并且ITU-T?H.26L為用于以低比特率傳送視頻的新標(biāo)準(zhǔn)。該ITU-TH.26L被MPEG高度強(qiáng)調(diào)。相應(yīng)地，MPEG聯(lián)合ITU-T的VCEG來組成聯(lián)合視頻組(JVT)，以將H.26L模型定義為國際標(biāo)準(zhǔn)。結(jié)果，引入ISO?MPEG4?Part10、即ITU-T?H.264作為國際標(biāo)準(zhǔn)。

圖1為圖示常規(guī)H.264編碼器的方框圖。

常規(guī)H.264編碼器包括預(yù)測塊110、變換與量化塊120、以及熵編碼塊130。

預(yù)測塊110進(jìn)行幀間預(yù)測與幀內(nèi)預(yù)測。幀間預(yù)測為利用通過解碼與去塊濾波而生成并且存儲在緩沖器中的參考畫面對當(dāng)前畫面進(jìn)行的塊預(yù)測。即，幀間預(yù)測利用畫面之間的信息進(jìn)行預(yù)測。預(yù)測塊110包括用于幀間預(yù)測的運(yùn)動估計(jì)塊111與運(yùn)動補(bǔ)償塊112。幀內(nèi)預(yù)測為利用要被解碼的畫面內(nèi)的、相鄰于要被預(yù)測的目標(biāo)塊的塊的像素?cái)?shù)據(jù)而進(jìn)行的預(yù)測。

變換與量化塊120通過變換在預(yù)測塊110處獲得的預(yù)測樣本、并且量化變換后的數(shù)據(jù)而壓縮視頻數(shù)據(jù)。熵編碼塊130根據(jù)預(yù)定編碼方案，對量化后的視頻數(shù)據(jù)進(jìn)行編碼，以生成H.264比特流。

此后將描述MPEG-2多視圖簡檔(MVP)。

圖2為顯示通過應(yīng)用視頻專家組(MPEG)-2的時間可擴(kuò)展性而實(shí)現(xiàn)的MPEG-2多視圖簡檔(MVP)的編碼器與解碼器的方框圖。

MPEG-2的可擴(kuò)展性用來在同一時間利用單個裝備對具有不同分辨率的圖像進(jìn)行解碼。可擴(kuò)展性中的時間可擴(kuò)展性為通過增加幀速率來提高視覺品質(zhì)的技術(shù)。通過對立體視頻(stereo?viedo)實(shí)現(xiàn)時間可擴(kuò)展性，來開發(fā)多視圖簡檔。

基于立體視頻的編碼器與解碼器一般具有圖2所示的時間可擴(kuò)展性結(jié)構(gòu)。在常規(guī)立體視頻編碼器中，立體視頻中的左畫面被輸入到基本視圖編碼器，右畫面被輸入到時間輔助視圖編碼器，如圖2所示。

常規(guī)立體視頻編碼器一般具有用于時間可擴(kuò)展性的所示結(jié)構(gòu)。即，其為在基本層的畫面之間建立畫面的層間編碼器。相應(yīng)地，如果獨(dú)立地編碼與解碼左畫面，則可以生成正常視頻。但是，如果同時編碼與解碼左畫面與右畫面，則可以生成三維視頻。此處，需要系統(tǒng)MUX與系統(tǒng)DeMUX來同步或者分離兩個畫面的序列，以傳送或者存儲視頻。