[發(fā)明專利]用于編碼/解碼表示3D對象的幾何形狀和顏色的有色點云的方法和裝置

在審

• 申請?zhí)枺?/td>: 201880046603.1
• 申請日: 2018-06-25
• 公開（公告）號: CN110915216A
• 公開（公告）日: 2020-03-24
• 發(fā)明（設(shè)計）人: S.拉塞爾;J.里卡德;C.古德
• 申請（專利權(quán)）人: 交互數(shù)字VC控股公司
• 主分類號: H04N19/597
• 分類號: H04N19/597;G06T17/00;G06T17/10;G06T9/40;H04N19/96
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 葉齊峰

本原理涉及一種用于編碼表示3D對象的幾何形狀和顏色的輸入有色點云的方法和設(shè)備。該方法包括：?根據(jù)點云在基于八叉樹的投影結(jié)構(gòu)的至少一個立方體(C_j)的至少一個面(F_i,j)上的至少一個正交投影，選擇(100)所述至少一個面；和?通過將包括在所述立方體(C_j)中的點云的一部分正交投影到所選擇的面(F_i,j)上，編碼(120、130)立方體(C_j)的每個選擇的面(F_i,j)的一對圖像：一個紋理圖像(TI_i,j)和一個深度(DI_i,j)圖像。

技術(shù)領(lǐng)域

本原理一般涉及表示3D對象的幾何形狀和顏色的有色點云的編碼和解碼。特別地，但非排他性地，本原理的技術(shù)領(lǐng)域涉及使用紋理和深度投影方案的3D圖像數(shù)據(jù)的編碼/解碼。

背景技術(shù)

本部分旨在向讀者介紹本領(lǐng)域的各個方面，這些方面可能與以下描述和/或要求保護的本原理的各個方面有關(guān)。認(rèn)為該討論有助于向讀者提供背景信息，以有助于更好地理解本原理的各個方面。因此，應(yīng)該理解的是，要鑒于此閱讀這些陳述，而不是作為對現(xiàn)有技術(shù)的承認(rèn)。

點云是一組點，通常旨在表示3D對象的外部表面，但也可能是更復(fù)雜的幾何形狀，其可能無法通過其他數(shù)據(jù)格式(如，網(wǎng)格)有效地表示，如頭發(fā)，皮毛。點云的每個點經(jīng)常由3D空間位置(3D空間中的X，Y和Z坐標(biāo))定義，并且也可能由其他相關(guān)聯(lián)的屬性定義，，例如，諸如以RGB或YUV顏色空間表示的顏色透明度、反射率，兩分量法向矢量等。

在下文中，考慮有色點云，即一組6分量點(X，Y，Z，R，G，B)或等效地(X，Y，Z，Y，U，V)，其中(X，Y，Z)定義3D空間中的點的空間位置，并且(R，G，B)或(Y，U，V)定義該點的顏色。

取決于云是否關(guān)于時間演進有色點云可以是靜態(tài)的或者是動態(tài)的。應(yīng)當(dāng)注意，在動態(tài)點云的情況下，點的數(shù)量不是恒定的，相反，一般隨時間演進。由此動態(tài)點云是多組點的按時間順序的列表。

實際上，有色點云可用于各種目的，諸如，文化遺產(chǎn)/建筑物，其中以3D掃描如雕像或建筑物的對象，以便共享對象的空間配置而無需發(fā)送或訪問它。另外，在對象可能被破壞的情況下，它是確保保留對象的知識的方式；例如遭受地震的廟宇。這種有色點云典型是靜態(tài)的且巨大。

另一使用情況是在地形和地圖投影中，其中通過使用3D表示，地圖不限于平面而且可以包括起伏(relief)。

汽車工業(yè)和自動駕駛汽車也是可以使用點云的領(lǐng)域。自動駕駛汽車應(yīng)該能夠“探測”其環(huán)境，從而基于其緊接相鄰的現(xiàn)實做出安全駕駛決策。典型的傳感器產(chǎn)生由決策引擎使用的動態(tài)點云。這些點云不意圖由人類查看。它們典型很小，不一定是有色的，而是高捕獲頻率動態(tài)的。它們可能具有其他屬性，如反射率，反射率是與感測對象的物理表面的材料的相關(guān)的有價值的信息并且可能有助于決策。

虛擬現(xiàn)實(VR)和沉浸式世界最近已成為熱門話題，并被很多人預(yù)見為2D平板視頻的未來。基本構(gòu)思是讓觀看者沉浸在環(huán)繞其的周圍環(huán)境中，而不是只能觀看他前面的虛擬世界的標(biāo)準(zhǔn)電視。取決于環(huán)境中觀察者的自由度，沉浸性有若干等級。有色點云是分發(fā)VR世界的良好格式候選。它們可以是靜態(tài)的或動態(tài)的，并且典型具有平均尺寸，例如一次不超過幾百萬個點。

僅當(dāng)比特流的尺寸足夠小以允許實際存儲/傳輸給最終用戶時，點云壓縮才能成功存儲/傳輸3D對象用于沉浸式世界。

同樣關(guān)鍵的是，能夠以合理的帶寬消耗將動態(tài)有色點云分發(fā)給最終用戶，同時保持可接受的(或優(yōu)選是非常好的)體驗質(zhì)量。與視頻壓縮相似，良好地使用時間相關(guān)性被認(rèn)為是將導(dǎo)致動態(tài)點云的有效壓縮的關(guān)鍵元素。