[發明專利]用于輸出3D模型的變分自動編碼器

在審

• 申請號: 202110947164.5
• 申請日: 2021-08-18
• 公開（公告）號: CN114078169A
• 公開（公告）日: 2022-02-22
• 發明（設計）人: N·貝爾特蘭
• 申請（專利權）人: 達索系統公司
• 主分類號: G06T9/00
• 分類號: G06T9/00;G06N3/04;G06N3/08;G06N20/00
• 代理公司: 永新專利商標代理有限公司 72002
• 代理人: 劉文燦

本發明特別涉及一種計算機實現的機器學習方法。該方法包括為神經網絡提供變分自動編碼器(VAE)架構，該神經網絡被配置為將2D草圖和隨機變量作為輸入，并輸出由2D草圖表示的3D模型。機器學習方法還包括學習神經網絡。

技術領域

本公開涉及計算機程序和系統的領域，并且更具體地涉及與神經網絡相關的方法、程序、數據結構和系統，該神經網絡被配置為將2D草圖作為輸入，并輸出由2D草圖表示的3D模型。

背景技術

市場上提供了許多用于對象的設計、工程和制造的系統和程序。CAD是計算機輔助設計的首字母縮略詞，例如它涉及用于設計對象的軟件解決方案。CAE是計算機輔助工程的首字母縮略詞，例如它涉及用于模擬未來產品的物理行為的軟件解決方案。CAM是計算機輔助制造的首字母縮略詞，例如它涉及用于定義制造過程和操作的軟件解決方案。在這種計算機輔助設計系統中，圖形用戶界面在技術效率方面起著重要的作用。這些技術可能嵌入在產品生命周期管理(PLM)系統中。PLM指的是一種商業戰略，其幫助企業共享產品數據，應用通用流程，并利用企業知識進行從概念到產品生命盡頭的跨越擴展企業概念的產品開發。達索系統(Dassault Systèmes)(以CATIA、ENOVIA和DELMIA為商標)提供的PLM解決方案提供了一個組織產品工程知識的工程中心、一個管理制造工程知識的制造中心和一個使企業集成和連接工程和制造中心的企業中心。整個系統提供了一個開放的對象模型，其鏈接產品、流程和資源，以實現動態的、基于知識的產品創建和決策支持，其驅動優化的產品定義、制造準備、生產和服務。

在該上下文中，研究人員一直在尋找解決方案來計算由輸入2D草圖表示的3D模型。這是一個復雜的問題，因為根據為輸入2D草圖選擇的視角，可能很難找到用戶想要的3D模型。例如，矩形的2D草圖可以是3D圓柱體(從前視圖)或長方體(從任何規范視圖)的表示。此外，2D草圖可能繪制不準確，因為其線條可能不平滑或不直，或者其透視圖可能不符合現實。這些不精確性使這個問題更難解決。

現有技術中存在解決該問題的不同方法。

DELANOY et al.,3D Sketching using Multi-View Deep VolumetricPrediction,Proceedings of the ACM on Computer Graphics and InteractiveTechniques 1.1,2018,pages 1-22，提出了一種通過學習深度卷積神經網絡(CNN)來從一張或多張圖重建3D形狀的數據驅動方法。CNN從線條圖中預測體素柵格(grid)的占用情況，并在用戶完成所需形狀的單個繪圖后立即提供初始3D重建。該單視圖網絡用更新器CNN相補充，該更新器CNN根據從新穎視點創建的形狀的新圖來改進現有預測。

WAILY and BOUSSEAU,Sketch-Based Modeling of Parametric Shapes,ACM/EGExpressive Symposium-Posters,Demos,and Artworks,2019，提出了一種基于草圖的建模系統，其使用深度卷積網絡來解釋參數形狀的草圖。所提出的方法專注于依靠兩種類型的深度卷積網絡進行草圖解釋來創建簡單的形狀(長方體、圓柱體、圓錐體、球體、金字塔)。首先，分類網絡識別繪制的形狀。然后，參數估計網絡預測識別形狀的位置和尺寸。每個形狀類別有一個這樣的網絡，因為不同的類別具有不同的參數。此外，每個形狀在從上方照亮時投射在地平面上的陰影被渲染并提供給深度網絡，以便允許該方法消除形狀相對于地面的高度的歧義。

LI et al.,SweepCanvas:Sketch-based 3D prototyping on an RGB-D image,2017,pages 387-399，提出了一種基于草圖的交互式工具，其用于在RGBD圖像之上進行探索性3D建模，以為最終用戶提供一種在圖像上創建3D模型的方法。該工具包括一個基于草圖的建模界面，它將一對用戶筆畫作為輸入，并通過沿另一個筆畫掃過一個筆畫立即生成彎曲的3D表面。所提出的方法應用基于馬爾可夫隨機場(MRF)的優化程序，以從上下文中提取空間平面對以定位和掃過筆畫。