[發明專利]點云超分辨率方法、裝置、電子設備及存儲介質

在審

• 申請號: 202210082353.5
• 申請日: 2022-01-24
• 公開（公告）號: CN114881850A
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 張新峰;周昳晨;黃慶明
• 申請（專利權）人: 中國科學院大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/70;G06T7/90
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 孔垂超

本申請公開了一種點云超分辨率方法、裝置、電子設備及存儲介質。該方法包括：構建并訓練點云初始超分辨率模型，得到滿足精度閾值的點云超分辨率模型；將待處理點云劃分為分片點云，將分片點云輸入點云超分辨率模型，通過生成器提取分片點云的幾何信息特征和顏色信息特征，并由生成器重建超分辨率點云；通過判別器判斷重建的超分辨率點云是否達到預設置信度閾值，并輸出達到預設置信度閾值的超分辨率點云。本申請的方法可將稀疏的點云坐標和顏色重建出高質量密集點云幾何和顏色信息，圖卷積以圖對點云進行建模，解決了點云無序的問題，可以有效利用上下文信息，對點云特征進行整合，能夠得到輪廓準確、細節清晰的高分辨率點云。

技術領域

本申請涉及視頻圖像處理技術領域，具體涉及一種點云超分辨率方法、裝置、電子設備及存儲介質。

背景技術

超分辨率指的是通過硬件或軟件提高原有圖像分辨率的技術。隨著3D采集技術的飛速發展，3D傳感器(例如LiDAR)變得越來越容易獲得，由此獲取的點云數據也越來越多，越來越多的研究者們也逐漸投入到三維點云數據的研究中。然而，處理3D點云而非2D像素網格，這帶來了新的挑戰。與以規則網格表示的圖像空間不同，點云沒有任何空間順序和規則結構。生成的點應描述潛在目標對象的基本幾何形狀，這意味著它們應大致位于目標對象的表面上。生成的點應該是信息性的，并且不應雜亂無章。點云數據的無序且不規則以及以上難題限制了深度學習網絡在點云超分辨率任務上的發展。類比圖像處理的3D卷積網絡大大限制了點云輸出的分辨率，逐點卷積不能對點云這種雜亂無結構的數據進行有效地建模，缺少點云上下文信息。

發明內容

本申請的目的是提供一種點云超分辨率方法、裝置、電子設備及存儲介質。為了對披露的實施例的一些方面有一個基本的理解，下面給出了簡單的概括。該概括部分不是泛泛評述，也不是要確定關鍵/重要組成元素或描繪這些實施例的保護范圍。其唯一目的是用簡單的形式呈現一些概念，以此作為后面的詳細說明的序言。

根據本申請實施例的一個方面，提供一種點云超分辨率方法，包括：

構建并訓練點云初始超分辨率模型，得到滿足精度閾值的點云超分辨率模型；所述點云初始超分辨率模型包括生成器和判別器；

將待處理點云劃分為分片點云，將所述分片點云輸入所述點云超分辨率模型；

通過所述生成器提取所述分片點云的幾何信息特征和顏色信息特征，并由所述生成器利用所述幾何信息特征和所述顏色信息特征重建超分辨率點云；

通過所述判別器判斷重建的所述超分辨率點云是否達到預設置信度閾值，并輸出達到預設置信度閾值的超分辨率點云。

在本申請的一些實施例中，所述生成器包括并行的點云坐標生成通道和點云顏色生成通道；所述點云坐標生成通道用于提取所述分片點云的幾何信息特征；所述點云顏色生成通道用于提取所述分片點云的顏色信息特征。

在本申請的一些實施例中，所述訓練點云初始超分辨率模型，包括：

將訓練集中的點云輸入所述生成器，所述點云坐標生成通道和所述點云顏色生成通道進行連續兩次上采樣操作，得到預測點云；

計算所述預測點云的預測誤差，根據所述預測誤差反向更新所述生成器中的參數，迭代直至所述預測誤差達到預設閾值為止，得到第一次訓練完成的生成器；

將所述訓練集中的點云以及對應的所述預測點云輸入所述判別器以判斷所述預測點云的置信度，根據置信度判斷結果更新整個所述點云初始超分辨率模型，迭代直至所述置信度達到預設置信度閾值為止。

在本申請的一些實施例中，所述訓練點云初始超分辨率模型，包括：使用復合損失作為超分辨率任務訓練損失的一部分以訓練所述點云初始超分辨率模型；其中，所述復合損失包括對抗損失、形狀感知損失和基于幾何位置的顏色損失。