[發明專利]一種基于RGB數據的單視角和多視角三維重建方法及裝置

在審

• 申請號: 202011281969.2
• 申請日: 2020-11-17
• 公開（公告）號: CN112365581A
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 孔德慧;高俊娜;王少帆;李敬華;王立春
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T17/00
• 分類號: G06T17/00
• 代理公司: 北京市中聞律師事務所 11388
• 代理人: 馮夢洪

一種基于RGB數據的單視角和多視角三維重建方法及裝置，能夠充分利用輸入圖像的個性特征和其屬于特定類別的共性特征，以及物體自身的幾何信息來增強三維重建效果，能夠獲得高精度的三維重建結果。方法包括：(1)融合輸入視角的個性化特征和其所屬類別的共性化特征，重建得到初始化的三維體素；(2)在初始化的三維體素基礎上，利用體素在特定視角下的先驗對稱性和本身具有的內部上下文依賴關系指導體素注意力圖結構的構建，基于體素注意力圖結構，利用多尺度圖卷積對初始體素進行細化處理。

技術領域

本發明涉及圖像處理的技術領域，尤其涉及一種基于RGB數據的單視角和多視角三維重建方法，以及基于RGB數據的單視角和多視角三維重建裝置。

背景技術

基于計算機視覺技術的三維物體重建在人類生活的眾多領域得到廣泛應用，如人機交互、虛擬現實、增強現實和醫療診斷等。

目前，基于RGB的三維物體重建方法主要分為傳統方法和基于深度學習的方法。

傳統的三維重建方法的核心環節是多視圖圖像特征匹配，重建模型質量高度依賴特征匹配精度。但是，由于外觀變化或自遮擋，使得不同視點圖像差異較大，因此很難建立精確稠密的特征對應關系。而且，重構的三維形狀通常是一個沒有幾何細節的稀疏點云，精度待提升。此外，傳統的三維重建方法涉及的環節較多，一般主要包括圖像預處理，特征的計算與配準，數據融合，紋理映射等，導致環節之間的誤差傳遞積累，最后嚴重影響重建效果。

基于深度學習的特征提取及三維模型重建克服了上述傳統方法中的弊端，從而受到廣泛關注。與此同時此類方法隨著大量三維計算機輔助設計模型的出現而飛速發展。例如基于循環神經網絡的三維重建方法將三維重建看作序列學習問題，使用循環神經網絡去融合從輸入圖像提取的深度特征從而去重建三維形狀；但是這類方法在給定不同順序的輸入圖像時，三維重建結果存在差異，不能保證三維重建形狀的一致性。為了克服這個問題，基于編碼器-解碼器結構的生成網絡的三維重建方法被提出，即用編碼器映射二維圖像得到潛在特征表示，解碼器將潛在特征表示解碼得到一個三維形狀；但是此類方法是針對每個輸入視圖單獨處理，提取當前輸入獨有的潛在特征，沒有充分利用與特定類別關聯的視圖共有信息，同時也沒有明確利用物體可見部分和遮擋部分相關的幾何線索和感知線索，比如模型的幾何對稱性。這些局限性限制了精細化三維重建的實現。

發明內容

為克服現有技術的缺陷，本發明要解決的技術問題是提供了一種基于RGB數據的單視角和多視角三維重建方法，其能夠充分利用輸入圖像的個性特征和其屬于特定類別的共性特征，以及物體自身的幾何信息來增強三維重建效果，能夠獲得高精度的三維重建結果。

本發明的技術方案是：這種基于RGB數據的單視角和多視角三維重建方法，包括以下步驟：

(1)融合輸入視角的個性化特征和其所屬類別的共性化特征，重建得到初始化的三維體素；

(2)在初始化的三維體素基礎上，利用體素在特定視角下的先驗對稱性和本身具有的內部上下文依賴關系指導體素注意力圖結構的構建，基于體素注意力圖結構，利用多尺度圖卷積對初始體素進行細化處理。

本發明將輸入視角的個性化特征和它屬于特定類別的共性化特征相融合進行初始化三維體素重建，利用模型在特定視角下的先驗對稱性和三維體素本身具有的上下文依賴關系指導三維模型的圖構建并利用精心設計的多尺度圖卷積進行細化，從而得到完整的合理的三維體素，因此能夠充分利用輸入圖像的個性特征和其屬于特定類別的共性特征，以及物體自身的幾何信息來增強三維重建效果，能夠獲得高精度的三維重建結果。

還提供了一種基于RGB數據的單視角和多視角三維重建裝置，該裝置包括：

三維體素重建模塊，其融合輸入視角的個性化特征和其所屬類別的共性化特征，重建得到初始化的三維體素；