[發明專利]一種基于深度學習的三維點云重建方法

有效

• 申請號: 202110370551.7
• 申請日: 2021-04-07
• 公開（公告）號: CN113096239B
• 公開（公告）日: 2022-07-19
• 發明（設計）人: 雷建軍;宋嘉慧;彭勃;于增瑞
• 申請（專利權）人: 天津大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T9/00;G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

本發明公開了一種基于深度學習的三維點云重建方法，包括：點云預測器根據輸入的潛在特征表示，預測出三維點云的坐標信息；每個分支以對應特征編碼器輸出的潛在特征表示作為輸入，學習結合了其他分支信息的互補特征；通過應用跨視圖交互單元，每個稀疏點云重建子網捕獲跨視圖的互補信息，反饋給點云預測器生成稀疏點云；構建由多個點云特征提取子網、全局引導的特征學習子網和生成層組成的全局引導的稠密點云重建模塊，每個點云特征提取子網由一系列共享權重的多層感知機組成，所述多層感知機從生成的稀疏點云中提取點云特征；采取倒角距離損失作為幾何一致性約束，并構建了語義一致性約束來優化稠密點云的生成。

技術領域

本發明涉及三維點云重建領域，尤其涉及一種基于深度學習的三維點云重建方法。

背景技術

作為計算機視覺領域的熱點研究任務之一，三維模型重建的目標旨在通過給定的二維圖像的信息生成包含在二維圖像中物體的真實三維模型。三維模型有多種表示方式，包括：體素、網格和三維點云。三維點云作為三維模型的典型代表，已被應用于自動駕駛、虛擬現實等諸多領域。因此，三維點云重建任務引起了研究人員的廣泛關注。此外，生成的點云模型的質量會顯著影響后續任務的性能，如三維模型檢索、分類和分割等。然而，由于點云數據分布不規則、排列無序的特點，生成的點云模型通常不夠稠密，難以覆蓋更多有效的位置信息和形狀細節。因此，生成分辨率更高、細節更豐富的點云模型是一項具有挑戰性的任務。

三維模型重建包括：單視圖三維模型重建和多視圖三維模型重建。近年來，由于深度學習強大的學習能力，許多單視圖三維模型重建方法被提出。單視圖三維模型重建方法僅根據輸入的單幅二維圖像重建出合理的三維模型。從給定的圖像推斷三維模型需要結合低層次的圖像位置信息、高層次的圖像語義信息和圖像各個組成部分的結構排列信息等，推理過程十分復雜。由于單視圖包含的視覺信息有限，從單視圖中預測三維模型更加困難，因此基于單視圖的三維模型重建方法往往會產生粗糙的三維模型。

與單視圖重建方法不同，多視圖三維模型重建方法以從同一物體不同角度和位置捕獲的多幅二維圖像為輸入來預測三維模型。多幅圖像可以提供更全面的三維物體的形狀和位置信息，促使生成網絡更精確地建立二維圖像和三維模型之間的映射關系。受此啟發，近年來提出了許多基于多視圖的三維模型重建方法，以提高重建的三維模型的質量。Eigen等人提出基于深度卷積架構生成深度圖，然后對深度圖經過復雜的處理以轉換成三維模型。Choy等人提出了一種端到端的三維模型重建網絡3D-R2N2，該網絡利用卷積神經網絡從輸入的二維圖像直接生成三維模型。由于圖卷積網絡能夠更好地提取拓撲圖的空間信息，Wen等人提出了一種基于圖卷積的變形網絡來生成三維模型。

雖然現有的基于深度學習的三維模型重建方法可以從有限數量的輸入視圖中預測出較合理的三維形狀，但這些方法通常都直接生成相對稀疏且粗糙的三維點云。因此，利用深度學習的優勢，探索生成更加稠密、細節更豐富的三維點云重建方法具有重要的研究意義。

發明內容

為了生成分辨率更高，細節更豐富的高質量三維模型，并充分挖掘不同視圖之間的互補信息，本發明提出了一種基于深度學習的三維點云重建方法，利用從稀疏到稠密的分階段學習策略從多視圖輸入中重建稠密且精細的三維點云，以提升三維點云重建任務的性能，詳見下文描述：

一種基于深度學習的三維點云重建方法，所述方法包括：

學習每個輸入圖像的視覺信息，通過特征編碼器，每個輸入圖像被編碼為潛在特征表示，點云預測器根據輸入的潛在特征表示，預測出三維點云的坐標信息；

每個分支以對應特征編碼器輸出的潛在特征表示作為輸入，學習結合了其他分支信息的互補特征；通過應用跨視圖交互單元，每個稀疏點云重建子網捕獲跨視圖的互補信息，反饋給點云預測器生成稀疏點云；

構建由多個點云特征提取子網、全局引導的特征學習子網和生成層組成的全局引導的稠密點云重建模塊，每個點云特征提取子網由一系列共享權重的多層感知機組成，所述多層感知機從生成的稀疏點云中提取點云特征；