[發明專利]三維重建方法及裝置

在審

• 申請號: 201910741648.7
• 申請日: 2019-08-12
• 公開（公告）號: CN110490917A
• 公開（公告）日: 2019-11-22
• 發明（設計）人: 宋波
• 申請（專利權）人: 北京影譜科技股份有限公司
• 主分類號: G06T7/50
• 分類號: G06T7/50
• 代理公司: 11694 北京萬思博知識產權代理有限公司
• 代理人: 孫黎生<國際申請>=<國際公布>=<進入

本申請公開了一種三維重建方法及裝置，該方法包括：對輸入的圖片數據進行去渲染，得到原始點云數據；以八叉樹的數據結構存儲的點云數據；將點云數據輸入到區域卷積神經網絡，得到感興趣區域的特征數據；對感興趣區域進行池化；識別感興趣區域中的目標對象的三維重建損失和坐標變換損失；對目標對象進行三維位姿預測和三維形狀預測，得到目標對象的位姿角度和三維形狀；結合三維重建損失、坐標變換損失和目標對象的位姿角度和目標對象的三維形狀，得到目標對象的三維特征數據，從而實現目標對象的三維重建。

技術領域

本申請涉及計算機圖像處理技術領域，特別是涉及一種三維重建方法及裝置。

背景技術

3D重建采用合適的數學模型對三維對象建立相應的計算機表示，是在計算機環境下處理、操作和分析目標性質的基礎，是利用計算機表達客觀世界虛擬現實的關鍵技術。圖像的三維重建是計算機輔助設計(CAD)與計算機圖形學中一個很重要的科研領域，它的實現依靠基于圖像的渲染技術。基于圖像的渲染技術可以在沒有任何三維幾何信息或者少量幾何信息的情景下，僅憑借少量針對某個三維對象或者場景的原始圖像就能繪制出該三維對象或者場景的視點圖。

三維重建流程大概包括：圖像獲取、預處理、點云計算、點云配準、數據融合、表面生成過程。預處理是為了對圖像去噪、修復等圖像增強功能以及獲取對象深度。點云計算常通過SIFT SURF等特征點查找匹配之后，用8法和RANSAC(Random sample consensus，隨機抽樣一致算法)，多次計算兩張圖之間的基本矩陣(Fundamental Matrix)，選擇其中最好的一個，計算出世界坐標系與圖像像素坐標系之間的轉換關系。點云配準多用精細配準，如基于最小二乘法對誤差函數進行最小化處理，ICP(Iterative ClosestPoint，迭代最近點)算法獲得精正確無誤的配準結果，此外還有SAA(Simulate Anneal Arithmetic，模擬退火)算法、GA(Genetic Algorithm，遺傳)算法等。數據融合則是對配準后在空間中仍散亂無序的點云數據做融合處理，如TSDF(truncated signed distance function)算法采用柵格立方體代表三維空間，每個柵格中存放的是其到物體表面的距離。TSDF值的正負分別代表被遮擋面與可見面，而表面上的點則經過零點；另，SDF(Signed Distance Field，有效距離場)方法隱式地模擬表面。表面生成的目的是為了構造物體的可視等值面，Lorensen提出了經典體素級重建算法：MC(Marching Cube，移動立方體)法，通過合并所有立方體的等值面生成完整的三維表面。

隨著深度學習的不斷發展，基于深度學習的物體三維重建獲得了顯著進展。如Choy等提出的3D-R2N2(3D recurrent reconstruction neural network)，是一種基于標準LSTM(Long Short-Term Memory，長短期記憶網絡)的擴展網絡結構，該網絡學習二維圖像與三維輪廓間的映射，以端到端的序列形式獲取一個或多個對象實例的圖像。首先通過一個標準的CNN(Convolutional Neural Network，卷積神經網絡)對源圖像編碼，用其提出的3D-LSTM進行鏈接，把3D-LSTM神經元排列成三維網格結構，每個單元接收一個從編碼器中得到的特征向量，并將他們輸送到解碼器中。結果是每個3D-LSTM神經元重構輸出體素的一部分，再通過一個標準反卷積網絡解碼，利用這樣的網絡結構建立了二維圖像和三維模型的映射。另，Huan Lei提出的Ψ-CNN，提出了一種具有卷積平移不變性和非對稱性的球形卷積核。

在上述的物體三維重建技術中，大多使用點云數據做數據處理，作為三維領域中一個關鍵的數據來源，由于點云數據主要是表征目標表面的海量點集合，并不具備集合拓撲信息，因此，圖像和點云網格間轉換產生的離散操作會阻礙反向傳播的過程，影響重建后的分辨率及精度。

發明內容

本申請的目的在于克服上述問題或者至少部分地解決或緩減解決上述問題。