[發明專利]一種基于深度學習的上下文感知多視圖三維重建系統及其方法

在審

• 申請號: 202011371766.2
• 申請日: 2020-11-30
• 公開（公告）號: CN112489217A
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 白素琴;史金龍;喬亞茹;錢強;茅凌波;束鑫;歐鎮;田朝暉
• 申請（專利權）人: 江蘇科技大學
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06N3/08;G06N3/04
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 徐澍

本發明公開了一種基于深度學習的上下文感知多視圖三維重建系統及其方法，該方法包括編碼器、解碼器、上下文融合模塊、精化器、網絡損失函數。編碼器根據n個輸入圖像生成n個特征圖；解碼器以每個特征圖作為輸入，重建n個初始的三維形狀；上下文融合模塊將初始的三維形狀作為輸入，并自適應地選擇每個初始三維形狀的質量較高的重建部分進行融合，獲得融合的三維形狀；精化器將融合的三維形狀作為輸入，進一步更正重建的錯誤部分，進而重建出最終的三維形狀。本發明提供了一種無接觸、簡便、從多個角度拍攝的視圖中快速重建物體三維形狀的技術，具有較高的系統魯棒性和重建精度。

技術領域

本發明屬于基于多視圖重建物體三維形狀的技術領域，涉及一種基于深度學習的上下文感知多視圖三維重建系統及其方法。

技術背景

傳統三維重建方法，如：多視圖重建、從運動中恢復結構(Structure fromMotion：SfM)、同步定位與建圖(Simultaneous Localization and Mapping：SLAM)等，均采用跨視圖圖像特征匹配、多視幾何約束等技術解決。但是當多張視圖之間的間隔較大時，由于外觀變化或自遮擋的原因，特征匹配變得非常困難。為克服這些限制，已開發出許多基于深度學習的方法來重建對象的三維形狀，包括3D-R2N2【Choy等，3D-R2N2：A unifiedapproach for single and multi-view 3D object reconstruction.ECCV 2016.】、LSM【Kar等,Learning a multi-view stereo machine.NIPS 2017】等。

為重建三維形狀，3D-R2N2和LSM將多視圖三維重建作為序列學習問題(sequencelearning problem)，并使用循環神經網絡(recurrent neural networks:RNN)融合共享編碼器從輸入圖像中提取的多個特征圖(feature map)。然而，基于RNN的方法受到三個限制：首先，當給定具有不同次序的同組圖像時，RNN重建對象的三維形狀可能不一致；第二，由于RNN的長期記憶損失(long-term memory loss)，無法充分利用輸入圖像以優化重建結果；最后，基于RNN的方法是耗時的，因為輸入圖像順序地處理而無法并行處理。

發明內容

本發明的目的在于克服現有技術存在的不足之處，利用深度學習技術，從二維圖像中學習對象的三維形狀，提供一種基于深度學習的上下文感知多視圖三維重建系統及其方法，具有更高的系統魯棒性和重建精度。本方法對于給定具有不同次序的同組圖像，其重建對象具有很高的一致性，可充分利用輸入圖像以優化重建結果，同時可以并行處理輸入圖像。

為解決上述技術問題，本發明采用以下技術方案。

本發明的一種基于深度學習的上下文感知多視圖三維重建系統，包括：

編碼器，即共享參數編碼器，用于根據n個輸入圖像生成n個特征圖；

解碼器，即共享參數解碼器，用于將每個特征圖作為輸入，重建n個初始的三維形狀；

上下文感知融合模塊，用于將初始的三維形狀作為輸入，并自適應地選擇每個初始三維形狀的質量較高的重建部分進行融合，獲得融合的三維形狀；

精化器，用于將融合的三維形狀作為輸入，進一步更正重建的錯誤部分，進而重建出最終的三維形狀；

網絡損失函數，被定義為重建的三維形狀和基準三維形狀之間的體素級二元交叉熵的均值，包括在初始的三維形狀、最終的三維形狀下分別定義的兩個損失函數Loss1和Loss2。

本發明的一種基于深度學習的上下文感知多視圖三維重建方法，采用一種基于深度學習的上下文感知多視圖三維重建系統，包括編碼器、解碼器、上下文融合模塊、精化器、網絡損失函數；

所述方法包括：