[發明專利]基于深度學習的單幀圖像自由視點三維模型重建方法有效

申請號：	201910509328.9	申請日：	2019-06-13
公開（公告）號：	CN110223382B	公開（公告）日：	2021-02-12
發明（設計）人：	楊路;李佑華;楊經綸	申請（專利權）人：	電子科技大學
主分類號：	G06T17/00	分類號：	G06T17/00;G06F30/27;G06F30/10
代理公司：	成都禾創知家知識產權代理有限公司 51284	代理人：	裴娟
地址：	611731 四川省成***	國省代碼：	四川;51
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	基于深度學習圖像自由視點三維模型重建方法
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

本發明公開了一種基于深度學習的單幀圖像自由視點三維模型重建方法，包括以下步驟：訓練樣本生成；利用特征提取網絡獲取圖片高層語義；通過解耦網絡將圖像語義解耦轉化為輸出視點無關三維模型點云與相機視點參數；視點無關三維模型重建；相機視點估計與自由視點生成；自由視點三維模型生成；以及深度學習模型訓練。本發明方法能夠簡單高效地從單幀圖像中重建自由視點的三維模型，提高了模型的泛化性，拓寬了使用范圍。

技術領域

本發明涉及三維模型重建領域，尤其涉及一種基于深度學習的單幀圖像自由視點三維模型重建方法。

背景技術

自由視點三維模型是在普通三維模型的基礎上，允許人們在切換觀看角度時同樣具有相同的立體感，這可以為立體多媒體可以提供更加真實自然的視覺環境。由于三維模型本身的復雜性，傳統方法生成自由視點三維模型代價較高，需要工作者在不同視點下人工渲染生成更多不同視點的三維模型，效率較低，操作復雜。如何簡單高效地生成自由視點三維模型一直都是研究者的研究熱點，擁有巨大的應用潛力。

視點無關三維模型可以看作是一種特殊的，初始視點下的自由視點三維模型，兩者之間模型形狀相同，只是存在視點差異。通過對視點無關三維模型進行視點變換可以生成自由視點的三維模型。視點無關三維模型在姿態估計，物體跟蹤，目標檢測等領域有著廣泛的應用前景。如在三維物體姿態估計中，研究者需要將預先建立的視點無關三維模型與圖像中的二維輪廓進行特征適配，從而實現姿態估計；在三維物體跟蹤檢測中，往往存在著物體顯著視點變化的情況，此時需要攝像機對物體三維運動進行視點無關跟蹤，便于高效地進行特征提取與結果匹配。

目前，深度學習在單幀圖像三維重建領域取得了重大成功。研究者利用卷積神經網絡強大的特征提取能力，可以輕松完成對單幀圖像的形狀語義與視點語義等先驗知識的充分提取，進而得到具有強大泛化能力的高層抽象語義特征，對高層抽象語義特征通過一定映射變成具有特定意義的幾何參數，進而指導三維模型重建。但目前許多研究總是將三維模型形狀和視點的學習綁定在一起，生成的三維模型只適合單一相機視點，缺乏一定的可變化性，無法跟隨視點變化而靈活改變，在實際應用中較為局限。如何拓寬該種生成方法的使用范圍，提高三維模型的生成效率，是一個令人困擾的問題。

發明內容

本發明所要解決的技術問題是提供一種基于深度學習的單幀圖像自由視點三維模型重建方法，能夠簡單高效地從單幀圖像中重建自由視點的三維模型。

為解決上述技術問題，本發明采用的技術方案是：

一種基于深度學習的單幀圖像自由視點三維模型重建方法，包括以下步驟：

步驟一：對CAD模型進行采樣與渲染，生成初始視點真實形狀點云與不同視點不同距離下的單幀圖像；

步驟二：通過特征提取網絡的加深，逐漸獲取圖像的高層語義；

步驟三：通過解耦網絡將圖像高層語義轉化，輸出視點無關三維模型的點云坐標與相機視點參數；

步驟四：將解耦網絡輸出的視點無關三維模型點云坐標經過修正，以三角片擬合進行三維形狀重建，得到視點無關三維模型；

步驟五：對解耦網絡輸出的相機視點參數經過齊次變換得到相機視點，在此基礎上進行變換，生成自由視點；

步驟六：將自由視點與視點無關三維模型相乘，得到自由視點三維模型；

步驟七：將訓練樣本輸入神經網絡自動訓練，逐步更新網絡參數，優化自由視點三維模型，得到最優結果。

進一步的，在步驟一中，采用OpenGL對CAD模型進行采樣與渲染生成訓練樣本。