[發明專利]一種基于卷積循環編碼-解碼結構的多視影像三維重建方法

有效

• 申請號: 201911301740.8
• 申請日: 2019-12-17
• 公開（公告）號: CN111127538B
• 公開（公告）日: 2022-06-07
• 發明（設計）人: 季順平;劉瑾
• 申請（專利權）人: 武漢大學
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06T7/80;G06T17/00
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 王琪

1.一種基于卷積循環編碼-解碼結構的多視影像三維重建方法，其特征在于，包括如下步驟：

步驟1，構建用于訓練網絡的多視航空影像數據庫，數據庫中包括多視航空影像、影像對應的內外方位元素，以及每張影像對應的真實深度圖；

步驟2，構建多視密集匹配網絡RED-Net，利用步驟1構建的數據庫訓練網絡，學習影像匹配中的底層特征；

所述多視密集匹配網絡RED-Net包括：特征檢測部分，構建代價圖部分，循環編碼-解碼規則化部分，計算損失函數值部分共四個部分；其中特征檢測部分用于利用卷積神經網絡分支提取遙感影像二維層面的特征，獲得特征圖；代價圖構建部分用于將特征圖投影至三維空間的特定深度平面上，將不同視角下的特征圖融合為代價圖；循環編碼-解碼規則化部分由循環編碼-解碼結構組成，包括4個卷積層和4個上卷積層，以及4個門控循環單元，用于對代價圖進行規則化處理；計算損失函數值部分采用交叉熵損失值，當交叉熵損失值收斂時，網絡模型訓練完成；

所述循環編碼-解碼規則化部分包括卷積編碼部分、卷積解碼部分以及循環門控單元，其中卷積編碼部分由四個卷積層組成，每個卷積層后緊接著一個修正線性單元，卷積核大小均為3×3，第一層步長為1，后三層的步長為2，特征通道數分別為8,16,32,64；解碼部分由四個上卷積層組成，除最后一層外，每個上卷積層后緊接著一個修正線性單元，四個卷積層的卷積核大小均為3×3，步長為2，特征通道數分別為32,16,8,1；

卷積編碼部分產生的4個尺度的特征圖分別通過4個卷積門控循環單元進行正則化，其中，第4個卷積層產生的特征圖在卷積門控循環單元規則化后通過解碼部分第1個上卷積層進行上采樣，第1,2,3個卷積層產生的特征圖通過卷積門控循環單元規則化后，分別與解碼部分第3,2,1個上卷積層產生的特征圖相加，相加后的特征圖作為下一個上卷積層的輸入，通過解碼部分后，得到通道數為1、上采樣為原始影像大小的特征圖；

其中4個尺度上的卷積門控循環單元共包括4個狀態轉換參量，記錄當前時刻的代價圖的信息并作為初值傳遞給下一時刻輸入代價圖的狀態參量，用于記錄代價圖在深度方向上的上下文信息；步驟3，利用訓練好的網絡模型對真實的多視航空影像進行預測，得到參考影像視角下的預測深度圖；

步驟4，根據提供的相機的內參和位置姿態參數，結合預測的深度圖，利用已有的共線條件方程將影像中的每個像素點反投影至三維物方空間，得到點云構成的三維模型。

2.如權利要求1所述的一種基于卷積循環編碼-解碼結構的多視影像三維重建方法，其特征在于：步驟1的具體實現包括如下子步驟，

步驟1.1，選取多視影像數據；以一張航空影像為參考影像，與其航向相鄰與旁向相鄰的上下左右四張影像為源影像，這樣的五張影像和對應的真實深度圖以及空三解算后的相機參數、位姿參數作為一組五視數據單元，真實深度圖由激光掃描獲得，或利用高精度的地表三維模型通過虛擬投影的方式生成虛擬影像和對應的深度圖；

步驟1.2，訓練樣本分割；在一組五視數據單元影像所共有的重疊區域內，將五張影像分別裁剪為M*N的樣本數據，并用同樣的方式將對應的深度圖裁剪為同樣大小的樣本作為訓練真值；

步驟1.3，構建訓練樣本庫；選取一組裁剪為M*N像素大小的五視數據切片，與對應的五視切片深度圖和相機參數文件構成一組五視訓練樣本，將多組多視航空影像數據分別裁剪為多組數據切片，構成訓練樣本庫。

3.如權利要求1所述的一種基于卷積循環編碼-解碼結構的多視影像三維重建方法，其特征在于：所述特征檢測部分對于N張輸入影像設置了N個2D卷積神經元網絡分支，每一分支包括5個卷積層，通道數分別為8,8,16,16,16；其中前四層均由卷積層和修正線性單元ReLU構成，第五層僅由卷積層構成；前兩層的卷積核大小為3×3，卷積步長為1.第三層的卷積核大小為5×5，卷積步長為2，后兩層的卷積核大小為3×3，步長為1，每個網絡分支之間共享權重，最終特征檢測部分對每一張輸入影像得到16個通道的特征圖，特征圖的寬和高分別為輸入原始影像的1/2。