[發明專利]一種單圖像三維點云模型重建方法

在審

• 申請號: 202011296300.0
• 申請日: 2020-11-18
• 公開（公告）號: CN112396703A
• 公開（公告）日: 2021-02-23
• 發明（設計）人: 李海生;曾光;吳曉群;李楠;李勇
• 申請（專利權）人: 北京工商大學
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06N3/04;G06N3/08
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗

本發明涉及一種單圖像三維點云模型重建方法，首先預訓練一個點云自編碼器網絡，得到一個點云特征向量；構建圖像編碼網絡學習輸入圖像特征，編碼成固定長度的圖像特征向量，隨后利用解碼器網絡將向量解碼成點云表達形式；通過最小化兩個特征向量的差異，使得輸入圖像特征分布逼近點云特征分布，從而可以重建出相似的真實點云模型，解決三維重建中的不確定性問題。此外，利用可微投影模塊將初始重建點云從不同視角投影到二維平面，獲取二值化投影圖，通過最小化初始點云投影圖與真實投影圖的差異，優化初始重建點云，從而得到具有細節結構的點云模型。

技術領域

本發明涉及計算機視覺和計算機圖形學領域，特別是涉及一種基于單幅二維圖像的三維重建方法。

背景技術

在現實世界中，相比于文本，圖像等海量且易于獲取的媒體數據，三維模型更能展現出物體的立體視覺感和細節質感，是一種更符合人類視覺系統的數據表達，此外，隨著硬件掃描設備和專業建模軟件的發展，三維數據日益豐富，以及計算機存儲空間，計算能力的快速發展，三維模型被廣泛地應用在工業設計、城市規劃、影視教育等領域。但硬件掃描設備以及專業建模軟件如3DS Max、MAYA等建模軟件價格昂貴，使用門檻高，對廣大愛好者不夠友好，因此，研究便捷有效的三維模型重建方法是計算機圖形學和計算機視覺領域的重要方向和熱門話題。

由于圖像可以低成本高效獲取，三維模型的重建在學習現有二維圖像數據特點的基礎上，求解深度模型參數，目前主要依靠多張圖像進行三維重建，并且通常是優化重建模型與真實模型的差距。由于圖像的重復，紋理，反射等有不太確定性，因此需要設定一系列強假設約束，此外，三維數據集相對較難獲取，因此基于多張圖像的三維重建一定程度上受到限制。對單圖像重建而言，利用深度網絡強大的特征提取能力，對輸入單幅圖像進行分析和推理，結合先驗知識，逼近其對應三維模型特征分布，實現生成符合語義約束的三維模型，可以很大程度上減輕對大規模3D數據集的需求，同時降低三維建模的難度，使普通愛好者用戶也能獲取所需三維模型。

根據實際場景應用的不同需求，目前主要有點云、網格和體素這三種表達方式。體素表示的方法是將空間分為多個小立方體，可以視為二維到三維的直接推廣，但較于二維圖像，由于計算和內存的限制，分辨率主要為32³、64³這類低分辨率上。針對這一問題，一些基于空間劃分技術如八叉樹的卷積神經網絡被提出，將三維空間分割成一組不平衡八叉樹，充分利用三維數據的稀疏性來分割三維空間。基于網格表示的方法使用圖卷積網絡提取特征，通過模板不斷變形擬合新的模型，但是受限于給定初始網格拓撲關系不能生成一個具有各種拓撲的對象，且圖像和網格之間的轉換離散操作會阻礙反向傳播，導致基于深度學習重建網格表示的三維模型面臨不小的挑戰。基于點云表示的方法使用離散點來描述物體表面信息的空間，由于不用考慮模型內部空間以及點之間的連接關系，且點云數據具有無序性和置換不變性等特點，可以方便地進行幾何變換，計算量小，適合大場景以及高分辨模型的表達，因此廣泛應用于自動駕駛，虛擬現實等領域。

發明內容

本發明主要解決的技術問題：針對目前基于圖像重建主要依靠三維點云作為監督的方法，提供一種基于先驗知識的三維點云模型重建方法，通過預訓練三維點云模型的方法獲取點云先驗知識，不僅減少了重建過程中不確定點云的生成，而且結合多個二維投影圖監督的方法，使重建的點云具有與輸入一致的外觀輪廓細節，本發明降低了對真實三維模型監督的依賴性，提高三維模型重建精度，使得三維模型重建更具有廣泛性。

為解決上述技術問題，本發明采用的一個技術方案是：對物體的單張RGB圖像進行處理，通過構建三維重建網絡以及投影框架，聯合點云先驗知識特征分布約束，可得到與輸入圖像一致的具有精確細節的三維點云模型，緩解了現實中三維監督方法中三維數據的不足，其具體包括以下步驟：

(1)訓練一個三維點云自編碼器網絡，使用深度卷積變分編碼器學習輸入點云的特征，將輸入三維點云編碼成一個固定長度的點云特征向量，然后解碼成三維點云模型，通過最小化真實點云與重建點云距離，得到網絡優化訓練后表達三維點云特征分布的特征向量，獲取三維點云數據先驗知識；