[發明專利]基于深度語義融合的卷積神經網絡的三維語義圖重建方法

有效

• 申請號: 202010350966.3
• 申請日: 2020-04-28
• 公開（公告）號: CN111583390B
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 楊晨;陳琦;張靖宇;李丹;耿莉
• 申請（專利權）人: 西安交通大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/00;G06V10/774;G06V10/764;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 閔岳峰

本發明基于深度語義融合的卷積神經網絡的三維語義圖重建方法，是在單目相機條件下進行算法設計。該方法首先設計一個深度語義融合的卷積神經網絡，對一直單目圖像的每個像素點估計深度和預測語義。之后將深度估計的矩陣和語義分割的矩陣保存為深度圖像和語義圖像。然后以圖像左上角為坐標原點為每個像素點建立三維坐標，結合每個像素點對應的RGB信息得到點云數據。最后生成三維語義圖。相比與分別進行圖像的深度估計和語義分割的兩個卷積神經網絡，基于深度語義融合的卷積神經網絡在準確率幾乎不變的情況下，參數量分別減少了20倍和40倍，同時網絡推理時間縮短了一半。

技術領域

本發明屬于三維語義地圖重建領域，具體涉及一種基于深度語義融合的卷積神經網絡的三維語義圖重建方法。

背景技術

地圖可以對周圍環境信息進行描述，便于人類對未知環境進行理解。為了機器實現更加深度智能化，增加自主理解周圍環境的能力。因此針對三維幾何地圖每個像素點增加語義信息，構建可理解的三維語義地圖的研究是機器人一個有應用前景的重要方向。可理解三維地圖也稱為三維語義地圖，指的是對場景內采集到的數據信息，通過一定的數學方法，生成包含空間坐標信息和語義標記信息在內的三維點云數據，給它賦予人類理解上的含義，最終建立包含語義信息的三維地圖。

近年來隨著智能化移動機器人的發展，三維語義地圖重建得到了國內外學者的關注。常用的方法主要有兩種方法，第一是基于深度相機對當前環境進行深度估計，建立三維環境空間得到深度圖像。然后使用深度學習對深度圖像進行三維語義分割從而構建三維語義地圖。第二是對二維圖像進行語義分割得到語義圖像，之后融合深度圖像從而構建三維語義地圖。

針對第一種方法，例如PointNet等卷積神經網絡對RGB-D連續圖像幀進行像素級別的類別標記最終生成包含語義信息的稠密三維地圖。雖然PointNet網絡在modelnet_40數據集的分類中達到了90％的準確率，但是只是對單一物體進行識別。在輸入數據大小僅為8192*5時，整個網絡參數量為16.6M，計算量達到3633M，因此很難在更大分辨率的相機場景中進行實用。而且它的輸入點云數據是無序數據，數據之間缺少關聯，沒有全局信息，在更大分辨率更復雜的輸入場景中難以使用，因此在實際應用中更常使用第二種方法。

針對第二種方法，例如SemanticFusion等網絡，它的缺點在于深度相機作為深度圖像獲取最便捷有效的方法，在室外環境中存在很大的局限性。現如今基于深度學習不僅在圖像語義分割中取得顯著成就，而且在圖像深度估計的研究中也取得了良好表現，因此可以基于深度學習進行圖像深度估計。例如基于FCRN網絡對連續圖像推理深度信息得到深度圖像。將整個網絡在NYU數據集上針對640*480分辨率的圖像降采樣為304*228圖像后進行訓練和測試，在十米范圍內的室內環境中進行深度估計可以達到0.573的平均誤差。但是基于兩個網絡完成語義分割和深度估計存在網絡參數量過大，計算復雜的缺點。

綜上所述，本發明主要的發明是基于一個卷積神經網絡，同時訓練和推理深度估計和語義分割兩個任務，得到深度圖像和語義圖像，然后將它們融合成稠密的三維語義點云圖。

發明內容

本發明的目的在于針對現有技術的不足，提供一種基于深度語義融合的卷積神經網絡的三維語義圖重建方法，該方法基于深度語義融合的卷積神經網絡完成圖像深度估計和語義分割兩個任務，之后將深度圖像和語義圖像融合成稠密三維語義點云圖。實現在準確率基本不變的基礎上，減少了網絡的計算的參數量和推理計算時間。

本發明采用如下技術方案來實現的：

基于深度語義融合的卷積神經網絡的三維語義圖重建方法，包括以下步驟：

1)選擇已有的帶有語義分割和深度估計的NYU數據集，將訓練數據劃分為訓練數據集和驗證數據集；

2)搭建深度語義融合的卷積神經網絡模型，使用訓練數據集訓練模型，當訓練的模型在驗證數據集上達到設定的精度，保存網絡模型參數；