[發明專利]通道間點云屬性編碼方法、裝置以及可讀存儲介質

有效

• 申請號: 202010660829.X
• 申請日: 2020-07-10
• 公開（公告）號: CN112218077B
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 芮世薰;沃索基阿拉什;劉杉
• 申請（專利權）人: 騰訊美國有限責任公司
• 主分類號: H04N19/124
• 分類號: H04N19/124;H04N19/186;H04N19/61;H04N19/96
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 李華;王琦

本申請提供了一種通道間點云屬性編碼方法、裝置和可讀存儲介質，所述方法包括對點云的點的第一顏色屬性進行編碼，以獲得第一重建殘差；對所述點的第二顏色屬性進行編碼，以獲得第二重建殘差；基于所述第一重建殘差和所述第二重建殘差，獲得確認所述第二重建殘差的量化索引。所述方法還包括基于所述量化索引和所述第一重建殘差，更新所述第二重建殘差。

本申請要求2019年7月11日向美國專利商標局提交的第62/872,972號美國臨時專利申請和2020年7月9日提交的第16/924,790號美國正式專利申請的優先權，所述兩個申請的全部內容通過引用并入本文。

技術領域

本申請實施例涉及視頻編解碼，特別是涉及一種通道間點云屬性編碼方法、裝置以及可讀存儲介質。

背景技術

對這個世界的高級三維(3D)表示，使得更多沉浸式的互動和交流形式成為可能，并且也使機器可以理解、解讀和導航我們這個世界。3D點云已經成為此類信息的一種表示。目前人們已經確定出與點云數據相關聯的多個用例，并且已經開發出點云表示和壓縮的相應要求。

點云是3D空間中的一組點，每個點都具有相關聯的屬性，例如，顏色、材質。點云可以用于將一個對象或一個場景重建為這種點的組合。點云可以用各種設置中的多個相機和深度傳感器進行采集，并且可由數千個點甚至數十億個點組成，以逼真地表示重建的場景。

減少用于表示一個點云的數據量，需要使用壓縮技術。因此，需要有對實時通信和六自由度(6DoF)虛擬現實中使用的點云的有損壓縮的技術。另外，人們也在尋求在自主駕駛應用和文化遺產應用等的動態映射上下文中使用的無損點云壓縮的技術。運動圖片專家組(Moving Picture Experts Group，MPEG)已經開始致力于開發標準，用于處理幾何結構和屬性(例如，顏色和反射率)的壓縮、可縮放/漸進式編碼、隨時間采集的點云序列的編碼、以及對點云子集的隨機訪問。

圖1A是在基于圖片的點云壓縮(Graph-based Point Cloud Compression，G-PCC)中生成細節級別(Level of Detail，LOD)的方法示意圖。

參考圖1A所示，在當前的G-PCC屬性編碼中，基于每個3D點(例如，P0-P9)的距離，生成每個3D點的LoD(即，一組點)，然后通過按3D點的基于LoD的順序110、而不是按3D點的原始順序105應用預測，對每個LoD中的3D點的屬性值進行編碼。例如，3D點P2的屬性值是通過計算3D點P0、P5和P4(在3D點P2之前編碼或解碼)的基于距離的加權平均值來預測。

G-PCC中的當前錨定方法如下進行。

首先，計算3D點的鄰域的變化性，以檢查不同的相鄰點值的差異程度，如果其鄰域的變化性低于一個閾值，則使用基于當前點i的最近相鄰點的距離的線性插值過程，通過預測屬性值(a_i)_i∈0...k-1來進行基于距離的加權平均預測的計算。假設是當前點i的一組k-最近相鄰點，假設是它們的已解碼/重建的屬性值，假設是它們到當前點i的距離。然后預測的屬性值通過下式得到：

請注意，當對屬性進行編碼時，所有點云的幾何位置都已經可用。另外，相鄰點及它們的重建的屬性值在編碼器和解碼器兩者處均作為k維樹結構可用，所述k維樹結構用于以相同的方式便于每個點的最近鄰搜索。

其次，如果所述3D點的鄰域的變化性高于所述閾值，則執行速率失真優化(Rate-distortion Optimized，RDO)預測器選擇。基于在生成LoD過程中的相鄰點搜索的結果，創建多個預測器候選或候選預測值。例如，當通過使用預測，對3D點P2的屬性值進行編碼時，將3D點P2分別到3D點P0、P5和P4的距離的加權平均值，設置為等于0的預測器索引。然后，將3D點P2到最近相鄰點P4的距離設置為等于1的預測器索引。而且，如下表1所示，將3D點P2分別到接下來最近相鄰點P5和P0的距離，設置為等于2和3的預測器索引。