[發明專利]自適應點云屬性編碼的方法、裝置、電子設備和存儲介質

在審

• 申請號: 202010632494.0
• 申請日: 2020-07-02
• 公開（公告）號: CN112188199A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 卡特里亞貝蘭德拉;芮世薰;沃索基阿拉什;劉杉
• 申請（專利權）人: 騰訊美國有限責任公司
• 主分類號: H04N19/13
• 分類號: H04N19/13;H04N19/132;H04N19/42;H04N19/59;H04N19/96;H04N7/15
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 馬媛媛;王琦

一種自適應點云屬性編碼方法由至少一個處理器執行，包括：確定點云的k個候選點的質心，k是點云的所有點的預定采樣率；以及選擇k個候選點中最接近所獲得的質心的一個候選點。所述方法進一步包括：確定包括所述k個候選點中所述一個候選點的第一細節層次(LoD)層，以及不包括所述k個候選點中所述一個候選點的第二LoD層；以及基于所獲得的第一LoD層和所獲得的第二LoD層，對所有點的屬性執行編碼。

本申請要求2019年7月3日提交的第62/870,663號美國臨時申請的優先權、以及2020年7月1日提交的第16/918,269號美國申請的優先權，所述申請以全文引用方式并入本申請。

背景技術

1.技術領域

各實施例的方法和裝置涉及基于圖的點云壓縮(graph-based point cloudcompression，G-PCC)，具體涉及自適應點云屬性編碼的方法和裝置。

2.相關技術描述

世界的高級三維(3D)表示使更加沉浸式的交互和通信成為可能，并且還使機器能夠理解、解釋并遨游世界。3D點云(point cloud)已經成為實現此類信息的代表。目前已經發現了與點云數據相關聯的多個用例，并且已經開發了對點云表示和壓縮的相應要求。

點云是3D空間中的一組點，每個點具有相關聯的屬性，例如顏色、材料屬性等。點云可用于將對象或場景重建為這種點的集合。可以在各種環境中使用多個照相機和深度傳感器來獲得點云，點云可以由數千到數十億個點組成，能夠真實地表示重建的場景。

需要使用壓縮技術來減少用于表示點云的數據量。因此，需要針對實時通信和六自由度(six degrees of freedom，6DoF)虛擬現實中的點云進行有損壓縮的技術。此外，在用于自主駕駛和文化遺產應用等的動態繪圖的場景中，需要對點云進行無損壓縮的技術。運動圖像專家組(Moving Picture Experts Group，MPEG)已經開始研究一種處理幾何和屬性的壓縮標準，屬性可包括例如顏色和反射率、可縮放/漸進編解碼、跨越一定時間獲得的點云序列的編解碼，以及對點云的子集的隨機訪問。

圖1是G-PCC中生成多細節層次(levels of detail，LoD)的方法的示意圖。

如圖1所示，在當前的G-PCC屬性編解碼中，基于每個3D點(例如，P0-P9)的距離生成每個3D點的LoD(即，組)，然后以基于3D點的LoD的順序110，而不是原始順序105，進行預測來對每個LoD中的3D點的屬性值進行編碼。例如，通過計算編碼或解碼順序在3D點P2之前的3D點P0、P5和P4的基于距離的加權平均值來預測3D點P2的一個屬性值。

在當前的G-PCC屬性編解碼中，可以基于若干方法將原始點云重新分組為多個Lod層。然后，基于該重組的點結構執行后續步驟，例如預測和升降等。

對于LoD的生成，G-PCC編解碼器可以利用兩種不同的子采樣方法來構建升降方案所使用的多個LoD層：基于距離的采樣和固定速率的規則采樣。

在固定速率的規則采樣中，設I_L-1為一組莫頓順序(Morton-ordered)的索引，并且設LOD_L-1為表示整個點云的最低層LoD點。這里，L表示LoD層的總數。固定速率的規則采樣方法包括從第一索引開始從I_L-1中每隔k個索引選擇一個索引，也即，選擇每第k個索引。未選擇的索引表示LOD_L-2中的點。對所選擇的索引再進行相同的處理L-1次，從而生成上一級的多個LoD層。G-PCC具有設定的采樣率k＝4。

上述固定速率的規則采樣方法生成的多個LoD層可以獲得不規則采樣的稀疏點云上的全局點分布。然而，該方法完全忽略了局部點分布，因為索引是在每k個點的間隔中盲選出的，忽略了各個第k個點之前的第(k-1)個點的分布。

發明內容