[發明專利]基于深度學習的實景三維語義重建方法、裝置及存儲介質

在審

• 申請號: 202110924828.6
• 申請日: 2021-08-12
• 公開（公告）號: CN113673400A
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 何嬌;王江安
• 申請（專利權）人: 土豆數據科技集團有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06T7/50;G06T7/70;G06N3/04
• 代理公司: 西安毅聯專利代理有限公司 61225
• 代理人: 韓金明

1.基于深度學習的實景三維語義重建方法，其特征在于，包括：

獲取航拍圖像；

對所述航拍圖像進行語義分割，確定像素概率分布圖；

對所述航拍圖像進行運動恢復結構，確定所述航拍圖像的相機位姿；

對所述航拍圖像進行深度估計，確定所述航拍圖像的深度圖；

將所述像素概率分布圖、所述相機位姿以及所述深度圖進行語義融合，確定三維語義模型。

2.根據權利要求1所述的方法，其特征在于，所述確定像素概率分布圖，包括：

對語義分割網絡算法進行修改，確定修改后的算法；

采用訓練集對所述修改后的算法進行遷移學習，確定所述像素概率分布圖。

3.根據權利要求1所述的方法，其特征在于，所述對所述航拍圖像進行運動恢復結構，包括采用SfM算法對所述航拍圖像進行運動恢復結構。

4.根據權利要求1所述的方法，其特征在于，所述對所述航拍圖像進行運動恢復結構還包括：得出所述航拍圖像的相機參數和深度范圍。

5.根據權利要求1所述的方法，其特征在于，所述確定所述航拍圖像的深度圖，包括：

采用基于MVSNet生成所述航拍圖像的深度圖；

使用數據集對所述深度圖進行訓練，確定訓練后的深度圖。

6.根據權利要求1所述的方法，其特征在于，在進行將所述像素概率分布圖、所述相機位姿以及所述深度圖進行語義融合之前，包括：對所述深度圖中的數據進行去噪處理。

7.根據權利要求1所述的方法，其特征在于，所述確定三維語義模型，包括：

采用相鄰視圖投影過濾所述深度圖，確定過濾后像素深度圖；

融合所述過濾后像素深度圖、所述像素概率分布圖以及所述相機位姿，確定三維語義模型。

8.基于深度學習的實景三維語義重建裝置，其特征在于，包括：

圖像獲取模塊，用于獲取航拍圖像；

語義分割模塊，用于對所述航拍圖像進行語義分割，確定像素概率分布圖；

相機位姿確定模塊，用于對所述航拍圖像進行運動恢復結構，確定所述航拍圖像的相機位姿；

深度圖確定模塊，用于對所述航拍圖像進行深度估計，確定所述航拍圖像的深度圖；

三維語義模型確定模塊，用于將所述像素概率分布圖、所述相機位姿以及所述深度圖進行語義融合，確定三維語義模型。

9.基于深度學習的實景三維語義重建服務器，其特征在于，包括存儲器和處理器；

所述存儲器用于存儲計算機可執行指令；

所述處理器用于執行所述計算機可執行指令，以實現權利要求1-7任一項所述的方法。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有可執行指令，計算機執行所述可執行指令時能夠實現如權利要求1-7任一項所述的方法。