[發(fā)明專利]用于對多視圖序列進行編碼和解碼的方法和設(shè)備

有效

• 申請?zhí)枺?/td>: 201780070892.4
• 申請日: 2017-11-13
• 公開（公告）號: CN109983774B
• 公開（公告）日: 2023-06-27
• 發(fā)明（設(shè)計）人: J.瓊格;A.德里科特;M.卡格納佐;B.佩斯奎特-波佩斯庫
• 申請（專利權(quán)）人: 奧蘭治
• 主分類號: H04N19/597
• 分類號: H04N19/597;H04N19/105;H04N19/172;H04N19/46;H04N19/162;H04N21/218;H04N13/161
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 李芳華

本發(fā)明涉及一種用于對表示視頻的編碼數(shù)據(jù)流進行解碼的方法，該視頻包括至少一個第一視圖和與該第一視圖不同的一個第二視圖，其中預(yù)先重建該第二視圖的參考圖像。對于稱為當(dāng)前塊的該第一視圖的當(dāng)前圖像的至少一個塊，獲得(E64)與所述當(dāng)前塊相關(guān)聯(lián)的運動信息項，該運動信息項表示所述當(dāng)前塊在所述先前重建的參考圖像中的位移的。基于所述第二視圖的所述先前重建的參考圖像和所獲得的所述運動信息項，獲得(E66)預(yù)測塊。基于該預(yù)測塊、基于該編碼數(shù)據(jù)流進行解碼(E650)的預(yù)測殘差信息項、以及在與該第一視圖相關(guān)聯(lián)的第一塊和與該第二視圖相關(guān)聯(lián)的第二塊之間計算的差異信息項來重建(E68)該當(dāng)前塊，并且基于該編碼數(shù)據(jù)流對該當(dāng)前塊進行解碼(E67)。

技術(shù)領(lǐng)域

本發(fā)明總體上涉及3D圖像處理的領(lǐng)域，并且更確切地，涉及在多視圖圖像序列內(nèi)的自由導(dǎo)航的情況下對多視圖圖像序列的編碼和解碼。

背景技術(shù)

圖1呈現(xiàn)了用于獲取表示3D場景的多視圖圖像序列或多視圖視頻序列的設(shè)備的示例。這種設(shè)備包括一組相機，該組相機被定位成使得相機中的每一個獲取表示場景視圖的圖像序列。當(dāng)視圖的數(shù)量較大(例如大于10)時，我們稱之為超多視圖圖像序列。

由設(shè)備的相機中的一個獲取的每一個圖像序列(通常稱為視圖)可以在數(shù)據(jù)流中進行編碼。

由設(shè)備的相機獲取的該組視圖或圖像序列形成多視圖視頻或超多視圖視頻，其中，可以根據(jù)用戶請求的視圖在回放視頻期間沿著視圖軸和/或沿著時間軸自由地導(dǎo)航。這種功能也稱為英文名稱“Free?Navigation(自由導(dǎo)航)”。

實際上，從最初顯示的當(dāng)前視圖開始，可以在視頻運行時根據(jù)用戶請求跨當(dāng)前視圖的左側(cè)或右側(cè)的視圖圖像進行瀏覽，然后所顯示的視圖變?yōu)楫?dāng)前視圖。用戶可以停止視頻運行并且跨與停止運行的時刻相對應(yīng)的各種視圖的圖像進行瀏覽。

為了確保壓縮方面的效率，視圖的編碼利用了同一視圖的圖像之間的時間相關(guān)性、以及視圖間相關(guān)性。因此，為了在某一時刻解碼視圖，可能需要對若干視圖進行編碼。例如，諸如3D-HEVC標(biāo)準(zhǔn)等3D視頻編碼器利用時間相關(guān)性和視圖間相關(guān)性以具有良好的編碼效率。然而，這種標(biāo)準(zhǔn)需要對整組視圖進行系統(tǒng)的解碼。因此，這種編碼器不適合于超多視圖視頻中的自由導(dǎo)航功能。

實際上，為了限制回放設(shè)備(例如平板計算機、移動電話等)的解碼復(fù)雜度，有必要限制在回放期間的每個時刻要解碼的視圖的數(shù)量(即圖像序列的數(shù)量)。

缺點在于，在編碼期間，在觀看時要遵循的瀏覽路徑是未知的，因為隨時間瀏覽視頻的視圖對用戶來說是任意的。這對編碼器和解碼器施加了強大的約束。實際上，在由編碼器編碼的N個視圖中，只有它們中的一些將顯示給用戶。

在限制要解碼的視圖數(shù)量的同時在視頻中提供自由導(dǎo)航功能的簡單解決方案在于借助于靜止圖像的編碼器(比如JPEG、JPEG?2000)對每一個視圖的每一個圖像進行編碼，或者應(yīng)用借助于比如H.264等視頻編碼器的幀內(nèi)編碼。然而，就編碼視頻的比特率而言，這種解決方案是昂貴的。因此，優(yōu)選使用視頻編碼器，該視頻編碼器使用每一個視圖的圖像的時間預(yù)測，以便具有良好的編碼成本/解碼復(fù)雜度折衷。

某些系統(tǒng)使用服務(wù)器和用戶的終端之間的對話，以便預(yù)測用戶將要求的視圖，特別是根據(jù)沿時間軸和視圖軸的用戶位移。然而，此類系統(tǒng)需要與服務(wù)器的實時通信以及在服務(wù)器級別適配的適當(dāng)資源。

從H.264視頻標(biāo)準(zhǔn)中已知，對被稱為“SI幀”和“SP幀”的圖像進行編碼，使得有可能基于與編碼時使用的參考圖像不同的參考圖像來重建同一圖像。這種技術(shù)使得可以例如在視頻傳輸比特率適配的情況下從一個視頻流轉(zhuǎn)到另一個視頻流。然而，這種技術(shù)不允許插入流的變化圖像(除了隨時間以規(guī)則間隔插入)，以免大大損害視頻編碼成本。因此，這種技術(shù)不適于在提供自由導(dǎo)航功能(即，提供在視頻的任何時刻改變視圖的可能性)的同時對多視圖視頻進行編碼。

發(fā)明內(nèi)容

本發(fā)明旨在改進現(xiàn)有技術(shù)。