[發明專利]一種新的基于單目無人機多幀RGB圖像的三維重建方法

在審

• 申請號: 202111342955.1
• 申請日: 2021-11-12
• 公開（公告）號: CN114092640A
• 公開（公告）日: 2022-02-25
• 發明（設計）人: 趙艮平;蔡偉濤;崔曉滿;吳衡;王卓薇;程良倫
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/593;G06N3/08;G06N3/04;G06K9/62;G06V10/44;G06V10/82;G06V10/774
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 禹小明

1.一種新的基于單目無人機多幀RGB圖像的三維重建方法，其特征在于，包括以下步驟：

S1：獲取基于單目無人機的多幀RGB圖像數據，預設初始估計焦距值；

S2：對所述多幀RGB圖像數據進行預處理；

S3：構建深度預測神經網絡，所述深度預測神經網絡的輸入為步驟S2中預處理后的多幀RGB圖像數據，所述深度預測神經網絡的輸出為步驟S2中預處理后的多幀RGB圖像數據的初始深度偏移預測；

S4：利用所述初始深度偏移預測和初始估計焦距值，生成畸變3D點云；

S5：構建3D點云神經網絡，所述3D點云神經網絡的輸入為步驟S4生成的畸變3D點云，所述3D點云神經網絡的輸出為預測的深度偏移和焦距值；

S6：構建深度恢復神經網絡，所述深度恢復神經網絡的輸入為多幀RGB圖像數據和步驟S5中預測的深度偏移和焦距值，所述深度恢復神經網絡的輸出為多幀RGB圖像數據各自對應的深度圖和子3D點云；

S7：構建3D點云配準深度神經網絡，所述3D點云配準深度神經網絡的輸入為多幀RGB圖像數據各自對應的子3D點云，所述3D點云配準深度神經網絡的輸出為配準與融合后的3D點云；

S8：根據配準與融合后的3D點云進行三維重建。

2.根據權利要求1所述的新的基于單目無人機多幀RGB圖像的三維重建方法，其特征在于，步驟S1中所述獲取基于單目無人機的多幀RGB圖像數據，具體為：

搭建單目無人機RGB圖像數據采集平臺，對無人機進行系統設置，在地面基站規劃設定無人機的飛行路徑，從多個視角對同一目標場景進行RGB圖像數據采集，得到多幀RGB圖像數據。

3.根據權利要求1所述的新的基于單目無人機多幀RGB圖像的三維重建方法，其特征在于，步驟S2中對所述多幀RGB圖像數據進行預處理，具體為：

先對多幀RGB圖像數據進行立體校正和畸變矯正，然后通過圖像對比度調整，圖像均衡化操作進行圖像處理，再利用Scharr濾波器與Sobel算子對圖像進行邊緣提取操作，最終對邊緣圖像進行開運算操作和標定來優化圖像背景。

4.根據權利要求1所述的新的基于單目無人機多幀RGB圖像的三維重建方法，其特征在于，步驟S3中所述深度預測神經網絡，具體為：

所述深度預測神經網絡以一個用于特征提取的標準主干網絡模型ResNext101和一個解碼器組成，使用若干開源數據集進行神經網絡訓練，使用梯度下降法來訓練深度預測神經網絡；

所述深度預測神經網絡訓練過程中，所述各數據集均包括RGB圖像以及RGB圖像對應的深度圖，定義RGB圖像H＝[h₁,h₂,h₃,...,h_u]^T，其中，h_k(k＝1,2,...,u)為RGB圖像三個通道(R,G,B)中的像素值，u為單幀RGB圖像像素的總數，將RGB圖像輸入到深度預測神經網絡中對RGB圖像進行初始深度偏移的預測；

深度預測神經網絡分為全局粗預測和局部精預測，并利用一個尺度不變性的損失函數進行歸一化回歸損失，利用tanh()激活函數與Z-score標準化相結合，預測和歸一化RGB圖像之間像素的平均誤差，其中，計算歸一化回歸損失函數如下：

式中，N表示有N個訓練數據，d_i是指第i個RGB圖像的預測深度值，是第i個RGB圖像數據的實際深度值，μ_trim和σ_trim是指調整后的深度圖的平均值跟標準差，調整后的深度圖為刪除了最近和最遠10％的像素的深度圖。

5.根據權利要求4所述的新的基于單目無人機多幀RGB圖像的三維重建方法，其特征在于，所述若干開源數據集包括LiDAR傳感器數據集，DIML RGB-D數據集和KITTI數據集。