[發(fā)明專利]圖像編碼裝置、圖像解碼裝置、圖像編碼方法以及圖像解碼方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201610930345.6
• 申請(qǐng)日: 2013-03-25
• 公開(kāi)（公告）號(hào): CN107105294A
• 公開(kāi)（公告）日: 2017-08-29
• 發(fā)明（設(shè)計(jì)）人: 內(nèi)海端;山本貴也
• 申請(qǐng)（專利權(quán)）人: 夏普株式會(huì)社
• 主分類號(hào): H04N19/597
• 分類號(hào): H04N19/597;H04N19/46;H04N19/51;H04N19/61
• 代理公司: 中原信達(dá)知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司11219
• 代理人: 李罡,陸錦華

本申請(qǐng)是國(guó)際申請(qǐng)日為2013年3月25日、國(guó)際申請(qǐng)?zhí)枮镻CT/JP2013/058497、國(guó)家申請(qǐng)?zhí)枮?01380017830.9、發(fā)明名稱為“圖像編碼裝置、圖像解碼裝置、圖像編碼方法、圖像解碼方法以及程序”的發(fā)明專利申請(qǐng)的分案申請(qǐng)。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像編碼裝置、圖像解碼裝置、圖像編碼方法以及圖像解碼方法。

背景技術(shù)

通過(guò)記錄或者傳輸多個(gè)視點(diǎn)的圖像，并將其再現(xiàn)，能夠觀賞基于作為視聽(tīng)者的用戶的喜好的觀察角度的圖像。

作為一例，DVD視頻中的多角度影像預(yù)先準(zhǔn)備了基于認(rèn)為視聽(tīng)者可能感興趣或者制作方想讓視聽(tīng)者看的多個(gè)視點(diǎn)的同時(shí)刻的影像。用戶通過(guò)在再現(xiàn)時(shí)進(jìn)行適當(dāng)?shù)牟僮鳎軌蚯袚Q到任意的影像的再現(xiàn)而視聽(tīng)。

為了實(shí)現(xiàn)如上述多角度影像的功能，需要預(yù)先記錄與各角度(視點(diǎn))對(duì)應(yīng)的多個(gè)影像的全部。因此，例如視點(diǎn)的數(shù)目越多則影像內(nèi)容的數(shù)據(jù)尺寸越龐大。因此，現(xiàn)實(shí)中，例如限定于制作方尤其想讓視聽(tīng)者看或者視聽(tīng)者可能尤其感興趣的場(chǎng)景而準(zhǔn)備多角度影像，例如在不超過(guò)記錄介質(zhì)的容量的范圍內(nèi)制作影像內(nèi)容。

例如，尤其，對(duì)體育、演唱會(huì)、舞臺(tái)劇等的影像，用戶感興趣的視點(diǎn)是多樣的。從這樣的觀點(diǎn)出發(fā)，優(yōu)選能夠?qū)τ脩籼峁┗诒M可能多的視點(diǎn)的影像。

以這樣的期望為背景，已知如下的圖像編碼裝置：對(duì)多個(gè)視點(diǎn)圖像進(jìn)行編碼，且還對(duì)與這些視點(diǎn)圖像對(duì)應(yīng)的深度信息進(jìn)行編碼，生成包括這些編碼數(shù)據(jù)的流數(shù)據(jù)(例如，參照專利文獻(xiàn)1)。

該深度信息是表示視點(diǎn)圖像內(nèi)的各個(gè)被拍攝體與觀察位置(照相機(jī)位置)的距離的信息。通過(guò)基于深度信息和與照相機(jī)位置有關(guān)的信息的運(yùn)算而求出視點(diǎn)圖像內(nèi)的各被拍攝體在三維空間上的位置，從而能夠虛擬地再現(xiàn)所拍攝到的場(chǎng)景。并且，通過(guò)在與其他照相機(jī)位置對(duì)應(yīng)的屏幕上將所再現(xiàn)的場(chǎng)景進(jìn)行投影變換，能夠生成與從任意的視點(diǎn)觀察的影像相同的影像。

深度信息是將通過(guò)照相機(jī)等的攝影裝置拍攝時(shí)的視點(diǎn)位置(照相機(jī)位置)至攝影圖像內(nèi)的各被拍攝體的距離(＝深度)在預(yù)定的數(shù)值范圍(例如8比特)進(jìn)行了數(shù)值化的信息。而且，深度信息是將如上所述那樣進(jìn)行了數(shù)值化的距離變換為像素的亮度值的單色圖像的形式。由此，也可以將深度信息作為圖像來(lái)進(jìn)行編碼(壓縮)。

在專利文獻(xiàn)1的圖像編碼裝置中，關(guān)于輸入的多個(gè)視點(diǎn)圖像，根據(jù)作為多視點(diǎn)圖像編碼方式之一的MVC(Multi-view Video Coding，多視點(diǎn)視頻編碼)，采用并用了時(shí)間方向的預(yù)測(cè)編碼和視點(diǎn)方向的預(yù)測(cè)編碼的編碼方式。而且，在專利文獻(xiàn)1的圖像編碼裝置中，關(guān)于深度信息，也通過(guò)并用時(shí)間方向和視點(diǎn)方向的預(yù)測(cè)編碼而提高編碼效率。

此外，作為對(duì)多視點(diǎn)圖像和深度圖像進(jìn)行編碼的影像編碼方法，已知如下的方法。即，在該影像編碼方法中，有如下方法：基于深度圖像(距離圖像)和照相機(jī)的位置關(guān)系，生成基準(zhǔn)視點(diǎn)以外的視點(diǎn)中的視差補(bǔ)償圖像，在所生成的視差補(bǔ)償圖像與實(shí)際的輸入圖像之間進(jìn)行預(yù)測(cè)編碼(例如，參照專利文獻(xiàn)2)。即，該影像編碼方法試圖利用深度圖像來(lái)提高視點(diǎn)圖像的編碼效率。在這樣的影像編碼方法中，需要在編碼時(shí)和解碼時(shí)獲得相同的視差補(bǔ)償圖像，且使用一旦編碼之后再次解碼的深度圖像而生成視差補(bǔ)償圖像。因此，視點(diǎn)圖像的編碼以及解碼依賴深度圖像的編碼結(jié)果和解碼結(jié)果。

此外，還已知如下的影像編碼方法。即，如下方法：在與視點(diǎn)圖像(Video)一同對(duì)深度圖像(定義為多個(gè)輔助分量(DEPTH：MultipleAuxiliary Components)之一)進(jìn)行編碼時(shí)，將在視點(diǎn)圖像的預(yù)測(cè)編碼時(shí)獲得的運(yùn)動(dòng)向量等的信息利用于深度圖像的編碼(例如，參照非專利文獻(xiàn)1)。在該影像編碼方法的情況下，與專利文獻(xiàn)2時(shí)相反，深度圖像的編碼以及解碼依賴視點(diǎn)圖像的編碼結(jié)果和解碼結(jié)果。

現(xiàn)有技術(shù)文獻(xiàn)

專利文獻(xiàn)

專利文獻(xiàn)1：特開(kāi)2010-157823號(hào)公報(bào)

專利文獻(xiàn)2：特開(kāi)2007-36800號(hào)公報(bào)

非專利文獻(xiàn)

非專利文獻(xiàn)1："Coding of audio-visual objects：Visual"，ISO/IEC14496-2：2001

發(fā)明內(nèi)容

發(fā)明要解決的課題

通過(guò)如上述專利文獻(xiàn)2或非專利文獻(xiàn)1那樣對(duì)視點(diǎn)圖像和深度圖像進(jìn)行編碼，能夠以比較少的數(shù)據(jù)量來(lái)生成與多個(gè)視點(diǎn)對(duì)應(yīng)的影像。但是，這些編碼方法例如一方面將深度圖像的信息利用于視點(diǎn)圖像的編碼，另一方面將視點(diǎn)圖像的信息利用于深度圖像的編碼這樣相互的依賴關(guān)系不同。此外，專利文獻(xiàn)1的編碼在視點(diǎn)圖像和深度圖像之間沒(méi)有利用關(guān)系。