[發明專利]基于深度學習的實景三維語義重建方法、裝置及存儲介質

在審

• 申請號: 202110924828.6
• 申請日: 2021-08-12
• 公開（公告）號: CN113673400A
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 何嬌;王江安
• 申請（專利權）人: 土豆數據科技集團有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06T7/50;G06T7/70;G06N3/04
• 代理公司: 西安毅聯專利代理有限公司 61225
• 代理人: 韓金明

本申請公開了基于深度學習的實景三維語義重建方法、裝置及存儲介質，涉及遙感測繪地理信息技術領域，解決了現有技術中多場景標注不準確的問題，該方法包括，獲取航拍圖像；對航拍圖像進行語義分割，確定像素概率分布圖；對航拍圖像進行運動恢復結構，確定航拍圖像的相機位姿；對航拍圖像進行深度估計，確定航拍圖像的深度圖；將像素概率分布圖、相機位姿以及深度圖進行語義融合，確定三維語義模型；實現了在場景對象較多、堆疊嚴重等情況下的高精度分割；并且在大規模場景中，深度估計網絡性能不受影響，可實現多種場景下進行穩定且準確的估計，且本申請構建的語義三維重建算法較其他傳統的三維重建算法提升了計算速度。

技術領域

本申請涉及遙感測繪地理信息技術領域，尤其涉及基于深度學習的實景三維語義重建方法、裝置及存儲介質。

背景技術

三維重建和場景理解是計算機領域的一個研究熱點。具有正確幾何結構和語義分割的三維模型在城市規劃、自動駕駛、機器視覺等領域至關重要。在城市場景中，語義標簽用于可視化建筑物、植被和道路等目標。帶有語義標簽的三維點云使得三維地圖更易于理解，有利于后續的研究和分析。盡管三維語義建模已被廣泛研究，但在點云重建過程中，提取語義信息的不同方式常常會導致不一致或錯誤的結果。相對二維圖像，點云數據的語義分割更困難。在缺少三維點云訓練數據的情況下，標注點云比標注二維圖像更費力。另一個挑戰是三維點云所帶來的不可避免的噪聲，這導致難以精確地知道點云屬于哪一類。因此，有必要通過在多個視圖上同時估計三維幾何語義信息來開發新的語義三維重建方法。

在過去的幾年里，許多關于圖像語義分割的研究已經通過深度學習技術取得了令人鼓舞的成果。深度學習技術以訓練好的神經網絡為基礎，可以幫助各種圖像像素級語義分割。同時，深度學習技術的不僅能夠提取圖像語義信息，而且對于深度圖估計問題的求解具有實際意義。近年來，已有許多基于深度學習的深度圖估計方法，為大規模場景生成高精度的三維點云。

但是如何在大規模場景中對物體進行準確的標注是待解決的主要問題。

發明內容

本申請實施例通過提供基于深度學習的實景三維語義重建方法，解決了現有技術中多場景標注不準確的問題，實現了在場景對象較多、堆疊嚴重等情況下的高精度分割；并且在大規模場景中，深度估計網絡性能不受影響，可實現多種場景下穩定且準確的估計。本申請構建的語義三維重建算法較其他傳統的三維重建算法提升了計算速度。

第一方面，本申請實施例提供了深度學習的實景三維語義重建方法，該方法包括：

獲取航拍圖像；

對所述航拍圖像進行語義分割，確定像素概率分布圖；

對所述航拍圖像進行運動恢復結構，確定所述航拍圖像的相機位姿；

對所述航拍圖像進行深度估計，確定所述航拍圖像的深度圖；

將所述像素概率分布圖、所述相機位姿以及所述深度圖進行語義融合，確定三維語義模型。

結合第一方面，在一種可能的實現方式中，所述確定像素概率分布圖，包括：

對語義分割網絡算法進行修改，確定修改后的算法；

采用訓練集對所述修改后的算法進行遷移學習，確定所述像素概率分布圖。

結合第一方面，在一種可能的實現方式中，所述對所述航拍圖像進行運動恢復結構，包括采用SfM算法對所述航拍圖像進行運動恢復結構。

結合第一方面，在一種可能的實現方式中，所述對所述航拍圖像進行運動恢復結構還包括：得出所述航拍圖像的相機參數和深度范圍。

結合第一方面，在一種可能的實現方式中，所述確定所述航拍圖像的深度圖，包括：

采用基于MVSNet生成所述航拍圖像的深度圖；

使用數據集對所述深度圖進行訓練，確定訓練后的深度圖。