[發明專利]一種基于卷積循環編碼-解碼結構的多視影像三維重建方法

有效

• 申請號: 201911301740.8
• 申請日: 2019-12-17
• 公開（公告）號: CN111127538B
• 公開（公告）日: 2022-06-07
• 發明（設計）人: 季順平;劉瑾
• 申請（專利權）人: 武漢大學
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06T7/80;G06T17/00
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 王琪

本發明公開了一種基于卷積循環編碼?解碼結構的多視影像三維重建方法，包括如下步驟：構建用于訓練網絡的多視航空影像數據庫，數據庫中包括多視航空影像、影像對應的內外方位元素，以及每張影像對應的真實深度圖；構建多視密集匹配網絡RED?Net，利用步驟1構建的訓練數據庫訓練網絡，學習影像匹配中的底層特征；利用訓練完成后的網絡對多視航空影像進行預測，得到參考影像視角下的預測深度圖；根據提供的相機的內參和位置姿態參數，結合預測的深度圖，將影像中的每個像素點反投影至三維物方空間，得到點云構成的三維模型。本發明具有如下優點：可用于從多視影像到深度圖的端到端的密集匹配；可用于大尺度影像的匹配；可遷移性強、精度好、效率高。

技術領域

本發明涉及一種用于多視航空遙感影像的多視密集匹配的深度學習方法，可實現基于遙感影像的地形地物三維重建。

背景技術

從立體或多視航空航天遙感影像重建地面三維場景一直是攝影測量與遙感中的核心問題。從遙感影像中獲取高精度的三維地形信息的一個核心關鍵問題是影像的密集匹配。密集匹配是一種由計算機代替人眼進行立體觀察，自動獲取影像中同名像點的視差值或深度值的過程。是由二維圖像到三維場景轉換過程中不可或缺的一部分。傳統的多視密集匹配方法多是基于影像間的幾何關系，通過復雜的幾何運算得到，計算量大。例如基于面片的全局匹配算法是在全局范圍內執行最優化，其計算量大，運行所需時間過長，對資源的消耗多，不適合實時的匹配操作。目前由多視航空影像進行大尺度、高精度的地表三維重建主要通過商用軟件SURE、Smart3D等完成，這些軟件均基于傳統的密集匹配方法。

近年來逐漸發展并應用在各個方面的深度學習方法，節省了大量的時間消耗和人工特征提取的工作，引起了廣泛的研究。一些基于深度學習的密集匹配方法如LSM、DeepMVS、MVSNet等被陸續提出。然而這些方法具有很大局限性，只能處理較小的影像或較小的深度范圍，使得這些方法只能進行一些實驗室內近景物體的重建，并不適合大尺度大范圍(如城市級)地形表面的重建。因此針對多視航空遙感影像的快速、自動、高分辨率的多視密集匹配方法的研究至關重要。

發明內容

本發明針對現有技術的不足，提供了一種適合于大尺度高分辨率遙感影像多視匹配的深度神經網絡。以多張不同視角下的遙感影像和相機參數作為輸入，以深度圖作為訓練標簽，得到神經元網絡模型。利用該模型，輸入新的多視影像時，可估計影像上每個點對應的深度和空間三維坐標，從而恢復三維場景。該網絡可以使用模擬的多視匹配數據集進行自我訓練，解決了缺乏與真實影像對應的完整且可靠的地面深度真值作為訓練數據的問題。實現本發明目的采用的技術方案是，一種基于卷積循環編碼-解碼結構的多視影像三維重建方法，包括如下步驟：

步驟1，構建用于訓練網絡的多視航空影像數據庫，數據庫中包括多視航空影像、影像對應的內外方位元素，以及每張影像對應的真實深度圖；

步驟2，構建多視密集匹配網絡RED-Net，利用步驟1構建的數據庫訓練網絡，學習影像匹配中的底層特征；

所述多視密集匹配網絡RED-Net包括：特征檢測部分，構建代價圖部分，循環編碼-解碼規則化部分，計算損失函數值部分共四個部分；其中特征檢測部分用于利用卷積神經網絡分支提取遙感影像二維層面的特征，獲得特征圖；代價圖構建部分用于將特征圖投影至三維空間的特定深度平面上，將不同視角下的特征圖融合為代價圖；循環編碼-解碼規則化部分由循環編碼-解碼結構組成，包括4個卷積層和4個上卷積層，以及4個門控循環單元，用于對代價圖進行規則化處理；計算損失函數值部分采用交叉熵損失值，當交叉熵損失值收斂時，網絡模型訓練完成；

步驟3，利用訓練好的網絡模型對真實的多視航空影像進行預測，得到參考影像視角下的預測深度圖；

步驟4，根據提供的相機的內參和位置姿態參數，結合預測的深度圖，利用已有的共線條件方程將影像中的每個像素點反投影至三維物方空間，得到點云構成的三維模型。

進一步的，步驟1的具體實現包括如下子步驟，