[發明專利]一種從單張設計圖片建模3D場景系統

在審

• 申請號: 202110564613.8
• 申請日: 2021-05-24
• 公開（公告）號: CN113144615A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 譚彬
• 申請（專利權）人: 上海隨幻智能科技有限公司
• 主分類號: A63F13/60
• 分類號: A63F13/60;G06T17/10;G06T7/10;G06K9/62;G06N3/08;G06N3/04
• 代理公司: 上海精晟知識產權代理有限公司 31253
• 代理人: 孫永智

本發明涉及計算機視覺技術領域，具體地說，涉及一種從單張設計圖片建模3D場景系統。其包括：渲染：在渲染引擎中，隨機排布物體，得到渲染結果圖和每個物體3D物體變換矩陣的數據集；提取模型：利用深度學習網絡從數據集中提取預測模型；實例分割：輸入單張場景設計圖片，預測出實例分割的結果和每個實例的3D物體的變換矩陣；建模：將單個實例對應的物體，以變換矩陣的指導放置到場景中，完成結果建模。本發明中通過利用深度神經網絡MaskR?CNN進行實例分割，得到2D物體包圍盒和包圍盒區域的圖像，并根據實例分割結果對應一個3D物體的2D平面映射，使單張設計圖片自動化完成3D場景布置，從而可以大幅度降低場景的構建時間，加快了場景的構建速度。

技術領域

本發明涉及計算機視覺技術領域，具體地說，涉及一種從單張設計圖片建模3D場景系統。

背景技術

3D建模廣泛應用于建筑、家裝、虛擬城市、ARVR、3D游戲等領域。將模型置入渲染引擎中，可以離線或事實的渲染出3D效果的畫面。將模型在場景中進行布置，形成整個場景素材，被稱為構建場景，一般都是3D美術師使用3D建模軟件來構建。場景的構建對整體的最終渲染效果有非常重要的影響。

但是，傳統的場景構建方法，要打磨好一個場景，需要大量的溝通、手動調整。需要UI設計師先出單張場景設計圖(2D)，然后3D美術師根據設計圖做3D場景的布置。無論從出品速度還是成本層面，都是3D應用的一個重要制約因素。而且換一個應用場景，之前的物體素材雖然可以復用，但是場景仍然需要重新布置，較為浪費時間。

發明內容

本發明的目的在于提供一種從單張設計圖片建模3D場景系統，以解決上述背景技術中提出的問題。

為實現上述目的，本發明提供一種從單張設計圖片建模3D場景系統，包括以下步驟：

渲染：在渲染引擎中，隨機排布物體，得到渲染結果圖和每個物體3D物體變換矩陣的數據集；

提取模型：利用深度學習網絡從數據集中提取預測模型；

實例分割：輸入單張場景設計圖片，預測出實例分割的結果和每個實例的3D物體的變換矩陣；

建模：將單個實例對應的物體，以變換矩陣的指導放置到場景中，完成結果建模。

作為本技術方案的進一步改進，所述數據集采用InGame加載素材方法，其方法步驟如下：

隨機從模型庫中加載模型并進行擺放；

渲染結果圖；

生成合成數據集。

作為本技術方案的進一步改進，所述輸入單張場景設計圖片采用深度神經網絡方法對圖片進行實例分割，得到2D物體包圍盒和包圍盒區域的圖像。

作為本技術方案的進一步改進，所述實例分割采用深度神經網絡Mask R-CNN對圖片進行實例分割，其分割步驟如下：

圖像輸入：輸入待檢測的圖像；

區域建議：對第一步輸入的圖像進行區域框的選取；

特征提取：使用CNN網絡對選取存在物體的潛在區域進行特征提取；

SVM分類：將提取出來的特征送入SVM分類器得到分類模型，且每個類別對應一個SVM分類器，每個類別的分類器判斷特征的類別；

邊框回歸：修正區域建議得到的圖像區域，且每個圖像區域的類別對應一個回歸模型；

使用非極大值抑制輸出：當幾個區域選擇的是同一個區域內的物體，使用非極大值抑制LOU≥0.5獲取無冗余的區域子集。

作為本技術方案的進一步改進，所述CNN網絡特征提取的步驟如下：