[發(fā)明專利]用于編碼和解碼多視圖視頻序列的方法和設(shè)備

在審

• 申請?zhí)枺?/td>: 202080033348.4
• 申請日: 2020-02-27
• 公開（公告）號: CN113785585A
• 公開（公告）日: 2021-12-10
• 發(fā)明（設(shè)計）人: J.瓊格;P.博伊索納德
• 申請（專利權(quán)）人: 奧蘭治
• 主分類號: H04N19/46
• 分類號: H04N19/46;H04N19/597
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 李芳華

本發(fā)明涉及一種用于對表示多視圖視頻的至少一個數(shù)據(jù)流進行解碼的方法，所述至少一個數(shù)據(jù)流至少包括表示至少一個子圖像的編碼的數(shù)據(jù)，所述編碼的數(shù)據(jù)包括紋理數(shù)據(jù)和與紋理數(shù)據(jù)相關(guān)聯(lián)的深度數(shù)據(jù)，所述子圖像包括被稱為有用區(qū)域的至少一個區(qū)域，所述有用區(qū)域旨在用于生成至少一個視圖的至少一個圖像。對指示子圖像是根據(jù)第一方法被編碼還是根據(jù)第二方法被編碼的指示符進行解碼。當指示符指示子圖像是根據(jù)第一方法被編碼時，對二進制圖進行解碼，所述二進制圖針對子圖像的至少一個像素指示所述像素是否屬于有用區(qū)域。當指示符指示子圖像是根據(jù)第二方法被編碼時，對子圖像的紋理數(shù)據(jù)和深度數(shù)據(jù)進行解碼，子圖像中的位于有用區(qū)域之外的像素的深度數(shù)據(jù)包括解碼的深度值。

技術(shù)領(lǐng)域

本發(fā)明涉及沉浸式視頻，其表示由一個或多個相機捕獲的場景。更具體地，本發(fā)明涉及對這樣的視頻進行編碼和解碼。

背景技術(shù)

在沉浸式視頻上下文中，即在觀看者具有沉浸在場景中的感覺的情況下，場景通常由一組相機捕獲，如圖1所示。這些相機可以是2D類型(圖1中的相機C1、C2、C3、C4)或360類型，即捕獲圍繞相機(圖1中的相機C5)360度的整個場景。

所有這些捕獲的視圖傳統(tǒng)上被編碼，然后由觀看者的終端解碼。然而，為了提供足夠的體驗質(zhì)量，并且因此在向觀看者顯示的場景中提供視覺質(zhì)量和良好的沉浸感，僅顯示捕獲的視圖是不夠的。

為了改善場景中的沉浸感，通常從解碼的視圖計算被稱為中間視圖的一個或多個視圖。

這些中間視圖可以通過視圖“合成”算法來計算。圖2中示出了合成算法的示例，主要示出了視圖合成算法的輸入/輸出。根據(jù)該示例，根據(jù)n個視圖(這里為1-4)，合成算法能夠合成位于給定體積中的視點“v”，該給定體積被稱為視體，這取決于相機的定位。n個視圖和合成的視圖由表示場景的元素相對于相機之間的距離的紋理數(shù)據(jù)(T₁-T₄，T_v)和深度數(shù)據(jù)(D₁-D₄，D_v)兩者組成。深度數(shù)據(jù)通常以深度圖的形式表示，即在圖像的每個點處指示與在該點處表示的對象相關(guān)聯(lián)的深度的圖像。

這些深度圖由特定相機捕獲或從紋理視圖計算。由于所考慮的大量數(shù)據(jù)，壓縮所捕獲的視圖以表示場景是一個挑戰(zhàn)。

此外，由于所捕獲的視圖對于合成中間視圖是必要的，因此需要視圖的編碼效率與中間視圖合成的質(zhì)量之間的折衷。

MV-HEVC及3D-HEVC編碼器是適于對多視圖視頻進行編碼的2D HE VC編碼器(“高效視頻編碼，編碼工具和規(guī)范”，馬提亞斯·維恩，《信號與通信技術(shù)》，2015年)的兩個擴展。

這樣的編碼器將一組視圖以及可選地相關(guān)聯(lián)的深度圖作為輸入。MV-HE VC編碼器不在塊級應(yīng)用任何特定編碼工具。當對當前視圖的圖像進行編碼時，除了當前視圖的先前編碼/解碼的圖像之外，它還簡單地使用另一視圖的圖像作為參考圖像。

3D-HEVC編碼器將特定工具添加到深度圖編碼，并使用更高級的視圖間冗余和分量間冗余，其中深度圖編碼利用紋理編碼。

然而，似乎對于360°多視圖內(nèi)容，這兩個編碼器沒有適當?shù)乩靡晥D之間的冗余。因此，它們的編碼效率遠不是最優(yōu)的。此外，沒有做什么來保持可能導致遮擋的區(qū)域，遮擋影響合成的視圖的圖像的質(zhì)量。

圖3示出了用于在解碼器側(cè)對多視圖視頻進行編碼并合成中間視圖的另一方法。

根據(jù)該方法，利用2D編碼器(例如HEVC編碼器)或利用多視圖編碼器對一個或多個基本視圖(圖3中的T_b、D_b)進行編碼。

處理其他視圖(T_s，D_s)以從這些視圖中的每一個中提取某些區(qū)域。