[發明專利]編碼和解碼二維點云的方法和設備

有效

• 申請號: 201810418588.0
• 申請日: 2018-05-03
• 公開（公告）號: CN108810571B
• 公開（公告）日: 2022-04-05
• 發明（設計）人: 朱利安·弗勒羅;貝特朗·許波;雷諾·多爾
• 申請（專利權）人: 交互數字VC控股公司
• 主分類號: H04N21/2343
• 分類號: H04N21/2343;H04N21/4402;H04N19/42
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 趙偉

本發明涉及用于對二維點云進行編碼、傳輸和解碼的方法、設備或流。當將點云編碼為幀時，不會使用大量的像素。密集映射運算符對像素的使用進行優化，但需要將大量數據編碼到流中，并且其逆運算符難以計算。根據本原理，根據密集映射運算符生成簡化的映射運算符，并將其存儲為表示在流中需要低空間的展開網格的二維坐標的矩陣。根據展開網格，逆運算符很容易生成。

技術領域

本公開涉及將表示二維點云的數據編碼和解碼為像素幀的領域，尤其是當所述點云包括密集部分和空白部分時。

背景技術

幀是包含值(例如顏色值或深度值)的像素陣列。幀可以用于表示圖像，并且在這種情況下，每個像素被設置為有意義的值。幀也可以用來編碼其他類型的數據，例如二維點云。二維點云是與值(例如顏色或深度信息)相關聯的一組二維坐標。在幀的參照系中表示所述點的坐標。二維點云可以是在n維點云投影到表面上的結果，其中n大于2。

在這種情況下，一些像素包含點并被賦予有意義的值(例如顏色或深度)，而其他一些像素不包含點并且根本不會獲得任何值。為了對這種圖像進行編碼，向未使用的像素賦予默認值。必須從有意義值的范圍中排除默認值。此外，由于幀是點陣化的表面，因此可能必須將兩個接近的點編碼在同一像素中。這在解碼側是個問題，因為不再可能從單一信息區分開這兩個點。這個問題可以通過以下方式來解決：使用一個未使用的像素來對兩個點中的一個進行編碼，從而在單個像素中不會混淆它們的值。然后問題成為檢索點的原始坐標。

存在各種技術來優化在包含未使用像素的幀中的像素的使用。例如，網格生成算法生成映射運算符，以更好地在幀上分布二維點云的點。原理包括通過擴大投影點云的密集部分并縮小投影點云的空白部分，將不同的點盡可能地編碼在不同像素中。映射運算符通常不是函數(而是更復雜的算法)，且有時不是可逆的。這種映射運算符因為不是參數化函數而是復雜算法，所以需要在流中對大量空間進行編碼。另外，在解碼側，需要計算映射運算符的逆運算符以便檢索原始點云。即使可能，計算這樣的逆運算符耗時且消耗資源。實際上，一些發現的映射優化解決方案并沒有逆運算符。缺乏一種用于在流中高效地嵌入逆映射運算符以優化幀上的點云分布的技術解決方案。

發明內容

本發明的一個方面涉及克服缺乏將二維點云作為幀進行存儲、壓縮以及傳輸的編碼和解碼方法。

本發明的另一個方面涉及一種從比特流解碼二維點云的方法。所述方法包括：

-從比特流獲得像素幀和表示展開網格的數據，所述數據與幀相關聯；

-根據所述展開網格確定非映射運算符；以及

-通過將非映射運算符應用于幀來解碼點云。

在一個實施例中，非映射運算符可以是利用展開網格參數化的分段雙線性內插器。

根據另一個方面，展開網格可以與比特流中的一組幀相關聯，并且所述方法還包括通過將根據展開網格確定的非映射運算符應用于一組幀中的幀來對所述一組幀中的幀進行解碼。

本發明還涉及一種將二維點云編碼到比特流中的方法。所述方法包括：

-通過根據密集映射運算符對規則網格進行映射來生成展開網格；

-通過將映射運算符應用于點云來生成像素幀，所述映射運算符是根據展開網格確定的；以及

-通過將與表示比特流中的所述展開網格的數據相關聯的所述幀編碼到比特流中來生成比特流。

所述方法生成對所述點在幀上的分布進行優化的運算符，以便最小化“未使用的”像素的數量并使信息像素的數量最大化。所述方法的優點可以與在比特流中和在解碼時計算運算符和其逆運算符所需的低處理資源中編碼映射運算符所需的小尺寸數據有關聯。

在一個實施例中，所述映射運算符是利用展開網格參數化的分段雙線性內插器。