[發(fā)明專利]多階段深度學習的點云超分辨率方法、系統(tǒng)及電子設備

在審

• 申請?zhí)枺?/td>: 202310232175.4
• 申請日: 2023-03-13
• 公開（公告）號: CN116342387A
• 公開（公告）日: 2023-06-27
• 發(fā)明（設計）人: 柏正堯;李澤鍇
• 申請（專利權(quán)）人: 云南大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/045;G06N3/0464;G06N3/08
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 趙興華

本發(fā)明公開了一種多階段深度學習的點云超分辨率方法、系統(tǒng)及電子設備，涉及計算機視覺中的點云超分辨率領(lǐng)域，該方法包括將稀疏點云數(shù)據(jù)輸入至基于Transformer架構(gòu)多階段深度學習的點云超分辨率網(wǎng)絡中，得到精細化密集點云數(shù)據(jù)；點云超分辨率網(wǎng)絡包括：提取稀疏點云數(shù)據(jù)的高級語義特征信息，生成初步粗糙密集點云；根據(jù)稀疏點云數(shù)據(jù)的高級語義特征信息和初步粗糙密集點云的高級語義特征信息，生成點云細節(jié)結(jié)構(gòu)特征信息；根據(jù)點云細節(jié)結(jié)構(gòu)特征信息生成點云坐標偏移量；將點云坐標偏移量和初步粗糙密集點云的空間坐標相加，得到精細化密集點云數(shù)據(jù)。本發(fā)明在點云超分辨率網(wǎng)絡各個模塊相互協(xié)作下，更高質(zhì)量的提升了輸入點云的分辨率。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機視覺中的點云超分辨率技術(shù)領(lǐng)域，特別是涉及一種多階段深度學習的點云超分辨率方法、系統(tǒng)及電子設備。

背景技術(shù)

在深度掃描設備使用愈發(fā)廣泛的今天，點云數(shù)據(jù)作為三維數(shù)據(jù)的主流表示形式，相比于二維圖像數(shù)據(jù)，蘊含有大量的深度信息以及更加豐富的顯式或隱式狀態(tài)下的空間幾何信息。得益于點云數(shù)據(jù)的上述特性，點云數(shù)據(jù)被廣泛使用于3D目標檢測、無人駕駛汽車、智能機器人的研發(fā)和地形圖測繪、古建筑重建、三維城市地圖構(gòu)建等領(lǐng)域中。例如：在3D目標檢測領(lǐng)域，由激光雷達對現(xiàn)實世界直接掃描得到描述現(xiàn)實世界的點云數(shù)據(jù)，目標檢測網(wǎng)絡將對輸入的點云數(shù)據(jù)的特征抽象編碼，并從這些特征中實現(xiàn)對現(xiàn)實世界中的各類物體的分類和識別。正如人眼觀察物體一樣，對物體觀察的越細致，對物體的分類和識別就會越準確。同理，如果傳入目標檢測網(wǎng)絡的點云數(shù)據(jù)分辨率越高，那么目標檢測網(wǎng)絡能提取到每個物體的特征就會越豐富，進而對物體的分類和識別就會越準確。

然而，由于硬件技術(shù)和在點云數(shù)據(jù)獲取過程中計算的制約，使得從深度掃描設備獲得的點云數(shù)據(jù)往往是稀疏并且?guī)в性肼暤模@些稀疏且夾雜噪聲的點云數(shù)據(jù)無法被直接使用于上述場景。

基于以上原因，提升點云數(shù)據(jù)的分辨率就變得尤為重要。從問題本質(zhì)出發(fā)，很直觀的，人們需要從稀疏且夾雜噪聲的點云數(shù)據(jù)中生成符合事物外表結(jié)構(gòu)且分布均勻、密集的點云數(shù)據(jù)。傳統(tǒng)做法通常使用各種投影算子來處理任務，如：曲面重構(gòu)和點上采樣。Alexa等人通過移動最小二乘投影算子得到局部切線空間Voronoi圖，并在圖的頂點插入新的點實現(xiàn)點集上采樣。Lipman等基于原始投影機制，提出了一種局部最優(yōu)投影(LOP)算子，用于點集上采樣和曲面重構(gòu)。即使輸入點集含有噪聲及異常值，該算子仍能發(fā)揮良好的性能。之后，由于LOP算子極易受點集密度的影響，Huang等人將局部自適應密度權(quán)重合并到LOP算子中，提出了一種改進的加權(quán)LOP算子來解決點集密度問題。雖然這兩種算子均取得了良好的效果，但它們首先假設下墊面是光滑的，因而限制了這兩種方法的適用范圍。Huang等人放寬此前提條件，保留部分非光滑邊緣特征，提出一種邊緣感知點集重采樣方法，并設計了一個各向異性的雙邊LOP算子。然而此方法的效果嚴重依賴給定點的平面法線的準確性。在此之后，Wu等提出將優(yōu)化曲面和骨骼點混合成有效點集的深度點表示方法，實現(xiàn)對大孔洞物體的補全。總的來說，上述方法均不是由數(shù)據(jù)驅(qū)動的，嚴重依賴于研究人員對局部幾何物體法線估計等先驗知識，或者假設點云形狀光滑不存在尖銳結(jié)構(gòu)等，在某些情況下效果不佳。近年來，隨著計算機算力的迅速提升，神經(jīng)網(wǎng)絡與深度學習模型已經(jīng)在計算機視覺、自然語言處理等領(lǐng)域證明了其強大的特征提取能力，基于深度學習的點云超分辨率網(wǎng)絡表現(xiàn)出比傳統(tǒng)算法更加強大的超分辨能力。現(xiàn)有的基于深度學習的點云超分辨網(wǎng)絡通常由兩個部分組成，首先經(jīng)過特征提取模塊將輸入點云由三維坐標空間映射到高維幾何特征空間中，然后設計損失函數(shù)使得網(wǎng)絡從高維特征空間推理出密集、均勻的三維點云數(shù)據(jù)。換句話說，通過特征提取模塊得到的高維幾何特征空間不僅要包含豐富的目標物體的全局幾何信息，同時也要關(guān)注到局部邊緣化信息。然而，一階段網(wǎng)絡往往很難同時滿足這些要求；此外，現(xiàn)有網(wǎng)絡容易忽略點云內(nèi)部點與點之間豐富的上下文語義和幾何信息，使得稀疏點云經(jīng)超分辨網(wǎng)絡后局部結(jié)構(gòu)失真嚴重。

發(fā)明內(nèi)容

針對目前主流點云超分辨率方法生成點云局部細節(jié)缺失，結(jié)構(gòu)不完整，容易失真，現(xiàn)有的點云超分辨率網(wǎng)絡很難在關(guān)注物體全局信息的同時又關(guān)注其局部細節(jié)信息等缺點，本發(fā)明提供了一種多階段深度學習的點云超分辨率方法、系統(tǒng)及電子設備。