[發明專利]用于對表示3D對象的點云的顏色進行編碼/解碼的方法及裝置

在審

• 申請號: 201880076043.4
• 申請日: 2018-10-03
• 公開（公告）號: CN111417984A
• 公開（公告）日: 2020-07-14
• 發明（設計）人: S.拉塞爾;J.里卡德;C.蓋德
• 申請（專利權）人: 交互數字VC控股公司
• 主分類號: G06T9/40
• 分類號: G06T9/40;G06T9/00;H04N19/147;H04N19/96
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 趙碧洋

本原理涉及一種用于對表示3D對象的點云(IPC)的顏色進行編碼的方法及設備。該方法的特征在于該方法包括：?獲得(210)對所述點云(IPC)的幾何形狀進行近似的點的集合(SP)；?對顏色信息數據進行編碼(220)，該顏色信息數據指示所述點的集合中的至少一個點的顏色被編碼在比特流中，并且所述點的集合中的其他點的顏色未被編碼在比特流中。本原理還涉及一種用于對點云的顏色進行解碼的方法及設備。

技術領域

本原理大體上涉及對表示3D對象的點云的顏色進行編碼和解碼。具體地但非排他性地，本原理的技術領域涉及點云的基于八叉樹的編碼/解碼。

背景技術

本部分旨在向讀者介紹本領域的各個方面，這些方面可能與下面描述和/或要求保護的本原理的各個方面有關。相信該討論有助于向讀者提供背景信息，以便更好地理解本原理的各個方面。因此，應該理解的是，應從這種角度來閱讀這些陳述，而不是作為對現有技術的承認。

點云是通常旨在表示3D對象的外部表面以及更復雜的幾何形狀(如頭發、毛發)的點的集合，這些更復雜的幾何形狀可能無法通過其他數據格式(如網格)有效地表示。點云中的每個點往往通過3D空間位置(3D空間中的X、Y和Z坐標)來定義，并且也可能由其他相關屬性來定義，諸如例如在RGB或YUV顏色空間中表示的顏色、透明度、反射比、兩分量法向矢量等。

有色點云可以是6分量點(X，Y，Z，R，G，B)或等效地(X，Y，Z，Y，U，V)的集合，其中(X，Y，Z)定義點在3D空間中的空間位置，而(R，G，B)或(Y，U，V)定義該點的顏色。

在下文中，術語“點云”指代包括有色點云的任何點云。

有色點云可以是靜態的或者動態的，取決于云是否相對于時間而演變。應當注意的是，在動態點云的情況下，點的數量并非恒定的，而相反一般會隨時間而演變。因此，動態點云是點的集合的時間順序列表。

實際上，有色點云可以用于各種目的，諸如文化遺產/建筑物，其中以3D形式對如雕像或建筑物的對象進行掃描，以便在不傳送或訪問其的情況下共享對象的空間配置。而且，它是一種用以確保在對象可能被摧毀的情況下保存對象的知識的方法；例如地震中的廟宇。這種有色點云通常是靜態且巨大的。

另一個用例是在地形與制圖中，其中通過使用3D表示，地圖不僅限于平面，還可以包括地勢。

汽車工業和自動駕駛汽車也是可以在其中使用點云的領域。自動駕駛汽車應當能夠“探測”其周圍環境，從而基于其近鄰的實際情況做出安全的駕駛決策。典型的傳感器產生由決策引擎使用的動態點云。這些點云并不意圖供人觀看。它們通常很小、未必有顏色、并且是動態的且具有很高的捕獲頻率。它們可能具有其他屬性，如反射比，它是與感測對象的物理表面的材料相關聯的有價值的信息并且可以幫助做出決策。

虛擬現實(VR)和沉浸式世界近來已成為熱門話題，并被許多人預見為2D平面視頻的未來。基本思想是讓觀看者沉浸在遍繞其周圍的環境中，這與標準TV相反，在標準TV中，他只能看到面前的虛擬世界。取決于觀看者在環境中的自由度，沉浸性有若干等級。有色點云是分發VR世界的很好的格式候選。它們可以是靜態的或動態的，并且通常具有平均大小，例如一次不超過幾百萬個點。

只有當比特流的大小足夠小到允許向終端用戶進行實際存儲/發送時，點云壓縮才能成功存儲/發送用于沉浸式世界的3D對象。

同樣重要的是，能夠以合理的帶寬消耗向終端用戶分發動態點云，同時保持可接受的(或優選地，非常好的)體驗質量。與視頻壓縮類似，良好地使用時間相關性被認為是會導致動態點云的有效壓縮的重要元素。