[發(fā)明專(zhuān)利]視頻編碼方法及解碼方法、其裝置及其程序以及記錄程序的存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 200780001726.5
• 申請(qǐng)日: 2007-01-04
• 公開(kāi)（公告）號(hào): CN101361371A
• 公開(kāi)（公告）日: 2009-02-04
• 發(fā)明（設(shè)計(jì)）人: 谷本正幸;藤井俊彰;山本健詞;北原正樹(shù);木全英明;志水信哉;上倉(cāng)一人;八島由幸
• 申請(qǐng)（專(zhuān)利權(quán)）人: 日本電信電話株式會(huì)社;國(guó)立大學(xué)法人名古屋大學(xué)
• 主分類(lèi)號(hào): H04N7/32
• 分類(lèi)號(hào): H04N7/32
• 代理公司: 中國(guó)專(zhuān)利代理(香港)有限公司
• 代理人: 閆小龍;劉宗杰

技術(shù)領(lǐng)域

本發(fā)明是涉及多視點(diǎn)活動(dòng)圖像的編碼以及解碼的技術(shù)。

本申請(qǐng)要求基于2006年1月5日申請(qǐng)的專(zhuān)利申請(qǐng)?zhí)枮?006-000393的優(yōu)先權(quán)，其內(nèi)容在此引用。

背景技術(shù)

多視點(diǎn)活動(dòng)圖像是由不同位置上的攝像機(jī)(camera)對(duì)相同被拍攝體和背景進(jìn)行攝影后的多個(gè)活動(dòng)圖像。下面，將由一個(gè)攝像機(jī)所攝影的活動(dòng)圖像稱(chēng)為“二維活動(dòng)圖像”，將對(duì)相同被拍攝體和背景進(jìn)行攝影后的二維活動(dòng)圖像的集合稱(chēng)為多視點(diǎn)活動(dòng)圖像。多視點(diǎn)活動(dòng)圖像中所包含的各攝像機(jī)的二維活動(dòng)圖像在時(shí)間方向存在較強(qiáng)的相關(guān)。另一方面，在各攝像機(jī)同步的情況下，與相同時(shí)間對(duì)應(yīng)的各攝像機(jī)的幀對(duì)完全相同的狀態(tài)下的被拍攝體和背景進(jìn)行攝影，所以，在各攝像機(jī)間存在較強(qiáng)的相關(guān)。

首先，描述與二維活動(dòng)圖像的編碼方式相關(guān)的現(xiàn)有技術(shù)。在以作為國(guó)際編碼標(biāo)準(zhǔn)的H.264、MPEG-4、MPEG-2為首的現(xiàn)有多種二維活動(dòng)圖像編碼方式中，利用運(yùn)動(dòng)補(bǔ)償、正交變換、量子化、可變長(zhǎng)度編碼這樣的技術(shù)，進(jìn)行高效率的編碼。

例如，在H.264中，在I幀中能夠利用幀內(nèi)相關(guān)進(jìn)行編碼，在P幀內(nèi)能夠利用與過(guò)去的多個(gè)幀的幀間相關(guān)進(jìn)行編碼，在B幀中能夠利用與過(guò)去或?qū)?lái)的多個(gè)幀的幀間相關(guān)進(jìn)行編碼。

H.264的技術(shù)細(xì)節(jié)記載在下述的非專(zhuān)利文獻(xiàn)1中，下面進(jìn)行簡(jiǎn)要地說(shuō)明。在I幀中對(duì)幀進(jìn)行塊分割(將該塊稱(chēng)為宏模塊(macroblock)，塊尺寸是16×16(像素))，在各宏模塊中進(jìn)行幀內(nèi)預(yù)測(cè)(intra-prediction)。在幀內(nèi)預(yù)測(cè)時(shí)，將各宏模塊分割為更小的塊(下面稱(chēng)為子塊)，能夠在各子塊中進(jìn)行不同的幀內(nèi)預(yù)測(cè)方法。

另一方面，在P幀中，能夠在各宏模塊中進(jìn)行幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)(inter-prediction)。P幀的幀內(nèi)預(yù)測(cè)與I幀的情況相同。另一方面，在幀間預(yù)測(cè)時(shí)進(jìn)行運(yùn)動(dòng)補(bǔ)償。在運(yùn)動(dòng)補(bǔ)償中，也將宏模塊分割為更小的塊，能夠在各子塊中具有不同的運(yùn)動(dòng)矢量、參考圖像。

并且，在B幀中，也能夠進(jìn)行幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè)，但是，B幀的幀間預(yù)測(cè)中，除了過(guò)去的幀以外，將來(lái)的幀也能夠適用于運(yùn)動(dòng)補(bǔ)償?shù)膮⒖紙D像。例如，在I幀→B幀→B幀→P幀這樣的幀結(jié)構(gòu)中進(jìn)行編碼的情況下，能夠以I→P→B→B的順序進(jìn)行編碼。并且，在B幀中，能夠參考I幀以及P幀進(jìn)行運(yùn)動(dòng)補(bǔ)償。此外，與P幀的情況相同地，能夠按將宏模塊分割后的每個(gè)子塊具有不同的運(yùn)動(dòng)矢量。

在進(jìn)行幀內(nèi)、間預(yù)測(cè)時(shí)，得到預(yù)測(cè)殘差(prediction?residual)，在各宏模塊中對(duì)預(yù)測(cè)殘差塊進(jìn)行DCT(離散余弦變換)并進(jìn)行量子化。并且，對(duì)這樣得到的DCT系數(shù)的量子化值進(jìn)行可變長(zhǎng)度編碼。

關(guān)于多視點(diǎn)活動(dòng)圖像的編碼，以往存在如下方式：根據(jù)將運(yùn)動(dòng)補(bǔ)償應(yīng)用到相同時(shí)刻的不同攝像機(jī)的圖像中的“視差補(bǔ)償”，高效率地對(duì)多視點(diǎn)活動(dòng)圖像編碼。在此，所謂的視差，是指在配置于不同位置上的攝像機(jī)的圖像平面上對(duì)被拍攝體的相同位置進(jìn)行投影的位置之差。

在圖9中示出在攝像機(jī)間所產(chǎn)生的視差的示意圖。在該示意圖中，是垂直地向下觀察光軸平行的攝像機(jī)的圖像平面得到的圖。這樣，在不同攝像機(jī)的圖像平面上對(duì)被拍攝體上的相同位置進(jìn)行投影的位置一般稱(chēng)為對(duì)應(yīng)點(diǎn)。視差能夠表現(xiàn)為平面內(nèi)的位置的偏差，所以，能夠表現(xiàn)為二維矢量的信息。

在視差補(bǔ)償中，由參考圖像推測(cè)與編碼對(duì)象攝像機(jī)的圖像上的某個(gè)目標(biāo)像素對(duì)應(yīng)的參考目的地的攝像機(jī)的圖像上的對(duì)應(yīng)點(diǎn)，以與該對(duì)應(yīng)點(diǎn)對(duì)應(yīng)的像素值預(yù)測(cè)目標(biāo)像素的像素值。以下，為了方便，將上述的“所推測(cè)的視差”也稱(chēng)為“視差”。

作為使用視差補(bǔ)償?shù)木幋a方法，例如有非專(zhuān)利文獻(xiàn)2，在這樣的方式中，對(duì)與編碼對(duì)象的圖像的像素相對(duì)的視差信息和預(yù)測(cè)殘差進(jìn)行編碼。具體地說(shuō)，在該方法中，包含以塊為單位進(jìn)行視差補(bǔ)償?shù)脑O(shè)計(jì)，以二維矢量表現(xiàn)塊單位的視差。該視差矢量的示意圖在圖10中示出。即，在該方法中，對(duì)作為二維矢量的視差信息和預(yù)測(cè)殘差進(jìn)行編碼。并且，在該方法中，由于不利用攝像機(jī)參數(shù)進(jìn)行編碼，所以，在攝像機(jī)參數(shù)未知的情況下是有效的。

在存在多個(gè)作為來(lái)自分別不同攝像機(jī)的參考圖像的情況下，能夠利用任意視點(diǎn)圖像技術(shù)進(jìn)行視差補(bǔ)償。在非專(zhuān)利文獻(xiàn)3中，利用任意視點(diǎn)圖像生成技術(shù)進(jìn)行視差補(bǔ)償。具體地說(shuō)，以與該像素對(duì)應(yīng)的不同攝像機(jī)的對(duì)應(yīng)點(diǎn)的像素值進(jìn)行插入(interpolation)，預(yù)測(cè)編碼對(duì)象攝像機(jī)的圖像的像素值。在圖11中示出該插入的示意圖。在該插入中，插入與像素m對(duì)應(yīng)的參考圖像1、2的像素m′、m″的值，由此，預(yù)測(cè)編碼對(duì)象圖像的像素m的值。