[發明專利]一種新的基于單目無人機多幀RGB圖像的三維重建方法

在審

• 申請號: 202111342955.1
• 申請日: 2021-11-12
• 公開（公告）號: CN114092640A
• 公開（公告）日: 2022-02-25
• 發明（設計）人: 趙艮平;蔡偉濤;崔曉滿;吳衡;王卓薇;程良倫
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/593;G06N3/08;G06N3/04;G06K9/62;G06V10/44;G06V10/82;G06V10/774
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 禹小明

本發明提供一種新的基于單目無人機多幀RGB圖像的三維重建方法，從深度學習的角度出發，并且結合深度預測神經網絡和3D點云神經網絡框架，對深度偏移和焦距進行計算和預測，接著利用端到端學習的3D點云配準深度神經網絡進行3D點云配準與融合。本方法區別于傳統的單幀RGB圖像深度偏移獲取方法，以數據為驅動和計算成像，利用深度學習和神經網絡來獲取深度偏移和相機焦距，大大提升了計算的精確性且其整體耗時少，同時兼顧三維重建效果，可以有效獲取良好的3D場景形貌。

技術領域

本發明涉及無人機視覺RGB圖像處理和三維重建技術領域，更具體地，涉及一種新的基于單目無人機多幀RGB圖像的三維重建方法。

背景技術

近年來，以無人機為主的各行各業逐漸興起，無人機航拍應用于多個領域范圍。越來越多研究人員將無人機航拍圖像與三維重建技術相結合，通過對無人機航拍路線規劃和基于無人機航拍圖像三維重建技術的研究，在緊急復雜的情況下，研究人員可以利用無人機對農業、林業、森林地貌、建筑火災等情況進行勘察，將航拍RGB圖像進行三維重建,從而能夠獲得重要的信息。

目前主流單目無人機圖像三維重建方法主要分為以下兩類：基于無人機RGB-D圖像三維重建和基于無人機RGB圖像三維重建。由于深度相機容易受紅外距離限制的原因，且從三維重建的實際應用角度來看，基于無人機RGB圖像三維重建依舊占據研究的主要部分，但是這種方法主要待解決的問題是判斷相機深度偏移與焦距問題。雖然目前有多種基于單目無人機的RGB-D圖像的三維重建的方案，但是基于單目無人機RGB圖像進行三維重建的方案卻很少，主要原因在于單幀RGB圖像不易獲得深度偏移和相機焦距，以及現有的單目深度偏移估計方法無法得到準確3D點云數據等問題。由于這些技術問題的存在，給基于單目無人機RGB圖像三維重建的解決方案帶來了極大的挑戰。

公開日為2018年11月23日，公開號為CN108876828A的中國專利公開了一種無人機圖像批處理三維重建方法，首先利用輔助信息對每兩幅圖像進行特征點提取與匹配；再利用三視圖匹配，剔除錯誤圖像匹配或圖像相對位姿錯誤；然后，估計絕對位姿，進行三維點云重建；最后將三位重建點云與絕對位姿利用捆綁調整方法進行一次性優化，得到經批處理后的無人機圖像。該專利對硬件配置要求較高，尤其是對于高分辨率的RGB圖像序列，其算法的計算效率較低。

發明內容

本發明的首要目的是提供一種新的基于單目無人機多幀RGB圖像的三維重建方法，結合深度學習與神經網絡來提高算法計算的效率。

為解決上述技術問題，本發明的技術方案如下：

一種新的基于單目無人機多幀RGB圖像的三維重建方法，包括以下步驟：

S1：獲取基于單目無人機的多幀RGB圖像數據，預設初始估計焦距值；

S2：對所述多幀RGB圖像數據進行預處理；

S3：構建深度預測神經網絡，所述深度預測神經網絡的輸入為步驟S2中預處理后的多幀RGB圖像數據，所述深度預測神經網絡的輸出為步驟S2中預處理后的多幀RGB圖像數據的初始深度偏移預測；

S4：利用所述初始深度偏移預測和初始估計焦距值，生成畸變3D點云；

S5：構建3D點云神經網絡，所述3D點云神經網絡的輸入為步驟S4生成的畸變3D點云，所述3D點云神經網絡的輸出為預測的深度偏移和焦距值；

S6：構建深度恢復神經網絡，所述深度恢復神經網絡的輸入為多幀RGB圖像數據和步驟S5中預測的深度偏移和焦距值，所述深度恢復神經網絡的輸出為多幀RGB圖像數據各自對應的深度圖和子3D點云；

S7：構建3D點云配準深度神經網絡，所述3D點云配準深度神經網絡的輸入為多幀RGB圖像數據各自對應的子3D點云，所述3D點云配準深度神經網絡的輸出為配準與融合后的3D點云；

S8：根據配準與融合后的3D點云進行三維重建。