[發(fā)明專利]一種基于深度學(xué)習(xí)的保留密度的點云壓縮方法

在審

• 申請?zhí)枺?/td>: 202111597535.8
• 申請日: 2021-12-24
• 公開（公告）號: CN114286103A
• 公開（公告）日: 2022-04-05
• 發(fā)明（設(shè)計）人: 付彥偉;賀蘊(yùn);任新麟;唐丹航;張寅達(dá);薛向陽
• 申請（專利權(quán)）人: 復(fù)旦大學(xué)
• 主分類號: H04N19/189
• 分類號: H04N19/189;H04N19/91;H04N19/597
• 代理公司: 上海德昭知識產(chǎn)權(quán)代理有限公司 31204
• 代理人: 程宗德

本發(fā)明提供一種基于深度學(xué)習(xí)的保留密度的點云壓縮方法，用于在點云壓縮過程中保留原始點云的密度從而生成高質(zhì)量的重建點云，其特征在于，包括如下步驟：步驟S1，對預(yù)先獲取的點云數(shù)據(jù)進(jìn)行預(yù)處理從而得到訓(xùn)練樣本；步驟S2，構(gòu)建用于提取點云數(shù)據(jù)的幾何信息與密度信息的編碼器，并基于編碼器獲取點云特征；步驟S3，采用熵編碼器對點云特征進(jìn)行壓縮；步驟S4，構(gòu)建用于對點云特征進(jìn)行上采樣的解碼器；步驟S5，構(gòu)建損失函數(shù)；步驟S6，基于訓(xùn)練樣本對由編碼器、熵編碼器以及解碼器組成的點云壓縮模型采用損失函數(shù)進(jìn)行訓(xùn)練；步驟S7，將點云數(shù)據(jù)輸入至訓(xùn)練好的點云壓縮模型從而實現(xiàn)保留原始點云密度的點云壓縮。

技術(shù)領(lǐng)域

本發(fā)明屬于三維計算機(jī)視覺領(lǐng)域，具體涉及一種基于深度學(xué)習(xí)的可以保留原始點云密度的點云壓縮方法。

背景技術(shù)

點云被廣泛應(yīng)用于自動駕駛、機(jī)器人和物理模擬等領(lǐng)域，它是最重要和最廣泛的3D表示之一。隨著3D掃描技術(shù)的飛速發(fā)展，人們現(xiàn)在可以通過細(xì)粒度的點云來有效捕捉復(fù)雜的幾何信息。因此壓縮算法對點云數(shù)據(jù)的存儲和傳輸至關(guān)重要。特別地，為了獲得較高的壓縮率，研究者們一直在關(guān)注有損點云壓縮算法并思考一個關(guān)鍵問題：在有限的比特率條件下，點云的哪些特性應(yīng)該被保留？

除了點云的全局幾何信息，還需要關(guān)注局部密度的保留。原因如下：首先，保留密度通常會重建出更少的異常值，從而得到更小的重建誤差。其次，實際掃描得到的點云很少會呈現(xiàn)出均勻分布，因此失去局部密度也就意味著失去了重要的原始特征，例如掃描分辨率等。然后，點云通常會被處理或簡化為在感興趣的區(qū)域具有復(fù)雜的幾何形狀，例如人臉、手等，而在壓縮期間保留密度意味著這些區(qū)域會被更好地重建。最后，如果解壓縮后的點云密度與原始的點云密度相差很大，語義分割等下游任務(wù)可能會受到影響。

傳統(tǒng)的點云壓縮算法通常依賴于八叉樹或KD樹結(jié)構(gòu)來提高存儲效率。受到深度學(xué)習(xí)技術(shù)在點云處理和圖像壓縮領(lǐng)域取得巨大成功的啟發(fā)，研究者們開始關(guān)注基于深度學(xué)習(xí)的有損點云壓縮算法。

為了解決點云的非結(jié)構(gòu)化、不規(guī)則與無序的問題，一些點云壓縮算法通常先體素化點云，然后再應(yīng)用3D卷積進(jìn)行處理，然而這會消耗大量的計算資源。與之相反，另一些壓縮算法則直接作用于原始點云上，例如：文[1]基于文[2]的PointNet結(jié)構(gòu)構(gòu)建了一個自動編碼器用于點云壓縮，而文[3]則是將文[1]的PointNet結(jié)構(gòu)換成了文[4]的PointNet++結(jié)構(gòu)。除此之外，文[5]提出在編碼時下采樣點云并在解碼時上采樣點云。然而，這些方法都沒有考慮在壓縮時保留原始點云的密度信息。

上述參考文獻(xiàn)為：

[1]Wei Yan,Shan Liu,Thomas H Li,Zhu Li,Ge Li,et al.Deep autoencoder-based lossy geometry compression for point clouds.arXiv preprint arXiv:1905.03691,2019.

[2]Charles R Qi,Hao Su,Kaichun Mo,and Leonidas J Guibas.Pointnet:Deeplearning on point sets for 3d classification and segmentation.In Proceedingsof the IEEE conference on computer vision and pattern recognition,pages 652–660,2017.

[3]Tianxin Huang and Yong Liu.3d point cloud geometry compression ondeep learning.In Proceedings of the 27th ACM International Conference onMultimedia,pages 890–898,2019.