[發明專利]一種特征金字塔多視圖三維重建方法和系統

有效

• 申請號: 202110707399.7
• 申請日: 2021-06-24
• 公開（公告）號: CN113345082B
• 公開（公告）日: 2022-11-11
• 發明（設計）人: 柏正堯;李俊杰
• 申請（專利權）人: 云南大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06N3/04
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 王愛濤

本發明涉及一種特征金字塔多視圖三維重建方法和系統。該多視圖三維重建方法，在獲取圖像數據和多視圖三維重建網絡模型后，采用多視圖三維重建網絡模型，以圖像數據為輸入得到預測深度圖，然后，根據預測深度圖生成3D點云數據，最后，對3D點云數據進行可視化處理得到重建的三維視圖，進而解決了現有圖像三維重構過程中存在的計算代價體占用顯存空間過大、難以估計高分辨率的深度圖、重建點云不完整等問題，并且，本發明以相對較低的顯存、更準確的精細深度預測，實現了更完整的多視圖三維重建。其可應用于文物保護、自動駕駛、工業零件、虛擬現實、建筑、醫學影像等領域的三維建模，對其領域的科研研究和發展帶來重要的應用價值和實際意義。

技術領域

本發明涉及視圖重建技術領域，特別是涉及一種特征金字塔多視圖三維重建方法和系統。

背景技術

多視圖立體(multi-view stereo，MVS)旨在根據相機從多個視角拍攝的一系列重疊圖像中重建出場景的3D模型，現廣泛應用于自動駕駛、虛擬現實、文物保護、古跡、醫學影像等領域。該方法相較主動式三維重建方法需要用到昂貴的深度相機或結構光相機，有著成本低廉，方便高效的優點，但需要高分辨率的深度圖才能融合生成高質量的密集點云，因此獲取高分辨率的深度圖對于多視圖三維重建生成高質量的密集點云起到至關重要的作用。

傳統的多視圖三維重建方法引入手工制作的相似度度量進行圖像匹配，然后對生成的密集點云進行優化處理，其中相似度度量采用歸一化互相關，優化處理采用半全局匹配。雖然這類傳統方法在理想的Lambertian場景下進行三維重建取得了巨大成就，但它們仍然受到一些共同的限制，例如場景的低紋理、高光和反射效果使得密集匹配難以處理，從而導致重建的完整性較低。近年來，深度神經網絡在多視圖立體視覺方面取得了巨大的進展，深度卷積神經網絡能夠提取高層的語義信息，而且網絡對場景的全局和局部信息進行編碼并提取特征，大大提高了對多視圖立體特征匹配的魯棒性。通過建立多視圖與相應深度圖之間的深度回歸關系，目前已有不少學者提出了一些基于多視圖立體的端到端學習方法，例如：MVSNet、R-MVSNet、CVP-MVSNet、CasMVSNet等。這些基于深度學習的方法采用深度卷積神經網絡來推斷每個視圖的深度圖，然后通過多視圖的深度圖融合處理過程來生成密集三維點云，從而建立3D模型。特別地，在MVSNet中提出了估計深度圖的深度結構，為每個視圖推斷出其對應的深度圖，極大地提高了重建的完整度和整體質量。該模型的一個關鍵環節是建立基于平面掃描過程的代價體(cost volume)以及通過多尺度3D卷積神經網絡(convolutional neural network，CNN)進行正則化。但是這樣極大地消耗顯存，并且顯存利用率隨著圖像分辨率的增加而立方增長。部分研究方法利用下采樣圖像降低顯存利用率，雖然這種方法能有效降低顯存占用率，但卻丟失了部分特征信息，以致估計的深度圖分辨率很低，重建精度和完整性都大打折扣。此外，特征提取是基于深度學習的多視圖立體算法的一個關鍵問題，另一個關鍵問題是代價體的生成。大部分基于深度學習的多視圖三維重建通過引入CNN塊進行特征提取，但是它們很難在從粗略到精細策略中捕獲到像素間的大范圍相互依賴關系，也無法捕獲用于深度推理任務的重要信息。

發明內容

為解決現有技術中存在的上述問題，本發明提供了一種特征金字塔多視圖三維重建方法和系統。

為實現上述目的，本發明提供了如下方案：

一種特征金字塔多視圖三維重建方法，包括：

獲取圖像數據；所述圖像數據包括：參考圖像和多張源圖像；

獲取多視圖三維重建網絡模型；所述多視圖三維重建網絡模型為融合有相機參數的深度神經網絡模型；所述深度神經網絡模型包括基于自注意力機制的特征金字塔網絡；

采用所述多視圖三維重建網絡模型，以所述圖像數據為輸入得到預測深度圖；

根據所述預測深度圖生成3D點云數據；

對所述3D點云數據進行可視化處理得到重建的三維視圖。