[發明專利]一種基于點的點云幾何有損壓縮重建裝置與方法

在審

• 申請號: 202210031926.1
• 申請日: 2022-01-12
• 公開（公告）號: CN114373023A
• 公開（公告）日: 2022-04-19
• 發明（設計）人: 丁丹丹;章駿騰;劉舸昕
• 申請（專利權）人: 杭州師范大學
• 主分類號: G06T9/00
• 分類號: G06T9/00;G06T17/00;G06T5/00;G06N3/04;G06N3/08;G06V10/44;G06V10/82
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱亞冠

本發明公開了一種基于點的點云幾何有損壓縮重建方法，屬于點云壓縮技術研究領域。該方法包括編碼和解碼兩個步驟，其中編碼包括下采樣、特征提取、特征增強和熵編碼四個步驟，在完成局部特征提取后首先進行特征增強，然后再進行特征合成與特征壓縮。解碼先后包括特征恢復、特征增強、坐標恢復和坐標細化四個步驟，在坐標恢復前同樣進行了局部坐標增強，并且在重建過程中細化點云。本發明所提出的方法能夠將大規模的點云進行壓縮，從而以較少的數據量進行傳輸，并對點云進行重建，恢復點云的坐標。

技術領域

本發明涉及點云幾何壓縮技術領域，具體地說，涉及一種基于點的點云幾何有損壓縮重建裝置與方法。

背景技術

近年來，三維點云已成為工業監控、自動駕駛、增強現實、虛擬現實等領域渲染3D對象和場景的一種常用格式。Moving Picture Experts Group(MPEG)分別提出了兩種使用傳統方法的點云壓縮標準，即Video-based Point Cloud Compression(V-PCC)和Geometry-based Point Cloud Compression(G-PCC)。V-PCC利用3D到2D的投影，將2D視頻編解碼器應用于編碼投影面；而G-PCC依賴八叉樹或三角形表面等3D模型，用于直接對3D內容進行編碼。

隨著人工智能技術的不斷發展，結合深度神經網絡的點云幾何壓縮方法成為點云壓縮領域的一個熱門研究方向。目前基于深度學習的方法主要分為基于體素的學習、基于八叉樹的學習和基于點的學習三類。其中，基于體素的學習方法將以坐標格式檢測到的原始數據轉換為體素來處理，這種方法會浪費大量的時間和內存，模型的分辨率也受到內存的限制。基于八叉樹的學習方法通過將體素模型轉換為具有不同葉節點大小的不平衡八叉樹，來減少計算量和內存需求，但是在數據格式變換時仍然會有很多資源浪費。而基于點的學習方法可以直接處理點云，不需要任何體素化或投影，并且不會造成明顯的信息丟失，因此越來越受歡迎。

現階段，基于點的學習方法主要使用自動編碼器的結構。在編碼端對原始點云提取局部特征后聚合成全局特征，并壓縮成碼流；解碼端對壓縮后的碼流解碼后將全局特征恢復成局部特征，然后進行坐標重建。

由此可知，在編碼端提取關鍵特征的結構好壞會直接影響壓縮時的比特率，以及后續解碼端恢復的點云質量。另外，在解碼端恢復點云特征的結構也會影響重建點云的質量。現在主流的方法是在解碼端直接使用反卷積層或簡單的線性變換的方法來恢復點云坐標，但是這樣無法得到較好的重建效果，也會產生較高的壓縮比特率。

發明內容

針對現有技術的不足，本發明提出了一種基于點的點云幾何有損壓縮重建裝置與方法，通過變分自動編碼器(Variational Autoencoder，VAE)，對局部特征進行增強，并細化坐標，以獲得更好的重建效果。

一種基于點的點云幾何有損壓縮重建裝置，包括編碼模塊和解碼模塊。

所述編碼模塊，包括依次級聯的下采樣模塊、特征提取模塊、第一特征增強模塊、熵編碼模塊；所述第一特征增強模塊利用自注意力機制對特征提取模塊的輸出數據進行增強后聚合成全局特征；

所述解碼模塊，包括依次級聯的特征恢復模塊、第二特征增強模塊、坐標恢復模塊、坐標細化模塊；所述第二特征增強模塊利用自注意力機制對特征恢復模塊的輸出數據進行增強。

一種基于點的點云幾何有損壓縮重建方法，包括編碼壓縮與解碼重建。

步驟1、對于編碼壓縮部分，在特征提取后進行了增強處理，包括以下步驟：

1.1)將數量為P的原始點云下采樣為數量為M的點云；

1.2)利用神經網絡對數量為M的點云進行特征提取，得到維度為M×C的局部特征；

1.3)利用自注意力機制對維度為M×C的局部特征進行增強，然后聚合得到維度為1×C的全局特征；