[發明專利]3D視頻編碼的裝置和方法

有效

• 申請號: 201680091333.7
• 申請日: 2016-12-02
• 公開（公告）號: CN110495178B
• 公開（公告）日: 2021-12-28
• 發明（設計）人: 趙志杰;延斯·施耐德;約翰尼斯·索爾斯;麥蒂爾斯·韋恩
• 申請（專利權）人: 華為技術有限公司
• 主分類號: H04N19/597
• 分類號: H04N19/597;H04N19/82;H04N19/124;H04N19/172;H04N19/463
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強;李稷芳

本發明涉及具有視點間預測的視頻譯碼。獲取參考視點的重建深度圖，根據預先確定的參考量化進行量化。獲得縮減范圍信息，其中縮減范圍信息界定義可用于在由預定參考量化界定的量化層級范圍內的視點間預測的深度量化層級的縮減范圍。通過自適應函數來增強對應于深度量化水平的減小的范圍的距離信息，所述自適應函數是基于所述減小的范圍來定義的。增強的距離信息用于視點間預測，導致提高的編碼效率。

技術領域

本發明大體涉及視頻編碼領域。更具體地，本發明涉及使用視點間預測處理3D視頻數據的裝置和方法。

背景技術

在3D視頻編碼過程中，必須對多個紋理幀序列進行編碼，特點在于同一場景具有至少兩個不同視點。已知的標準3D-HEVC僅支持用于共面攝像頭布置的基于塊的視點合成預測，即，來自單一平面內多個位置的視點。對于非共面攝像頭布置，所有塊以相同視差在不同視點之間移動這一假設不再成立。在這種情況下，每個像素都可以在視點之間以不同的方式移位，因此傳統的視點合成預測方法通常會失敗。為此，建議直接使用基于像素的深度圖而不是從中導出的塊向量。

在基于深度圖的當前方法中，3D視頻序列提供場景的若干視點，并且包括紋理幀形式的紋理數據和相應深度圖形式的深度圖數據。通常，諸如校準矩陣、與世界坐標系的關系等攝像頭參數對于每個視點而言是已知的(對于每個幀而言也是如此，以防這些參數隨時間而變化)。使用3D扭曲，可以將不同視點相互映射。映射通常是不完美的，因為在扭曲視點中可能會出現遮擋。

舉例而言，假設一個名為“視點0”的視點需要扭曲到名為“視點1”的視點中。“視點0”表示參考視點，“視點1”表示目標視點或從屬視點。對于非遮擋部分而言，扭曲視點“扭曲0”是“視點1”的良好預測值。因此，通過將“扭曲0”包含在用于預測“視點1”的參考圖片列表中，可以改善編碼性能。這適用于紋理幀和深度圖，在本領域中稱為視點間預測。

深度圖的質量對于一個視點到另一個視點的3D扭曲非常重要。通常，深度圖必須通過僅具有紋理和可用攝像頭參數的算法來估計。例如，如果以這種方式估計的參考深度圖用于從“視點0”到“視點1”生成從屬紋理或深度圖，則可能導致“扭曲0”視點合成不準確。反過來，還會對區域數量產生負面影響，編碼器將選擇區域數量并使用視點間預測來從“扭曲0”中預測“視點1”。

US 7,558,432 B2描述了一種在基于直方圖分析進行編碼之前量化深度圖數據的方法。更具體地，US 7,558,432 B2公開了一種使用深度圖表示圖像或圖像序列的方法，包括將n位深度圖表示非線性變換為m位深度圖表示，且mn。

因為深度圖通常是從紋理數據中估計得來或者進行了預處理，深度圖數值對應的直方圖可能會比較稀疏。WO 2014/139566 A1中提出了深度查詢表(Depth Lookup Table，簡稱DLT)，直方圖特征的利用可以僅通過用信號表示的DLT差值索引，而非通過用信號表示的殘差深度值。通過這種方法，可以降低這些殘差值的位深，提高深度圖編碼的編碼效率。

盡管上述傳統方法提供了一些改進，但仍然需要一種使用視點間預測處理3D視頻數據的改進裝置和方法。

發明內容

本發明的目的是提供一種使用視點間預測處理3D視頻數據的改進裝置和方法。

上述和其它目的通過獨立權利要求的主題來實現。根據從屬權利要求、說明書以及附圖，進一步的實現形式是顯而易見的。

本發明的實施例基于以下理念：使用可配置的深度圖值映射進行深度圖的預處理，以便獲取更適合視點間預測中視點合成的深度圖。例如，典型的視點合成算法確定深度圖中每個深度值的單應性映射，然后將其生成合成像素。本發明的實施例改進了單應性映射，這又使得提高預測精度成為可能。本發明的實施例在不增加所述編碼深度圖的編碼成本的情況下提供了這些有利效果。深度圖的典型特點是在小范圍內數值眾多，而其它范圍則未被使用。如本發明實施例所提供的，視點間預測情景中的深度圖值映射允許在大多數深度圖值所在的范圍部分進行集中。