[發明專利]基于單張手繪草圖的三維模型生成方法、裝置和電子設備

在審

• 申請號: 202110390327.4
• 申請日: 2021-04-12
• 公開（公告）號: CN113129447A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 張松海;郭元晨;顧清雯
• 申請（專利權）人: 清華大學
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06N3/04;G06N3/08
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 聶俊偉

本發明提供一種基于單張手繪草圖的三維模型生成方法、裝置和電子設備，包括：獲取單張手繪草圖；將所述單張手繪草圖輸入三維構建模型，輸出所述單張手繪草圖對應的三維模型；其中，所述三維構建模型是基于單張手繪草圖樣本和對應的視角標簽進行訓練得到的，所述三維構建模型中包括視角預測網絡，用于提取輸入單張手繪草圖的預測視角。本發明提供的方法、裝置和電子設備，可以預測用戶提供的手繪草圖的視角，使得后續生成的三維模型在預測視角的基礎上避免歧義。

技術領域

本發明涉及三維模型生成技術領域，尤其涉及一種基于單張手繪草圖的三維模型生成方法、裝置和電子設備。

背景技術

三維模型的構建是幾何繪制的基礎，基于草圖的三維建模可以協助相關工作人員完成費時費力的建模操作。現有的基于草圖的三維建模方法主要可以分為檢索式和構建式兩類。其中，檢索式方法將預定義好的模板元模型組成三維模型，或直接從模型集合中進行檢索抽取；構建式方法則直接將輸入的筆畫映射至三維模型，相比檢索式方法可以提供自由度更高的建模能力。這兩種方法都有著明顯的弊端：檢索式方法只能生成特定的三維模型，或只能由某些基本形狀組成的三維模型；而構建式方法由于缺少先驗知識，通常需要較大的工作量才能得到令用戶滿意的結果。此外，隨著觸摸屏的普及，以及VR/AR技術的發展，非專業用戶對于三維內容創作的需求愈發增長，而以上兩種方法都不能滿足普通用戶對于易用性和可定制性的需求。

為了滿足普通用戶的三維內容創作需求，一些工作借助深度學習技術嘗試從單張手繪草圖生成三維模型。Wang等人提出“Unsupervised learning of 3D modelreconstruction from hand-drawn sketches”，通過檢索的方式從手繪草圖生成體素表示的三維模型。Wang等人提出“3D shape reconstruction from free-hand sketches”，可以從單張手繪草圖生成點云表示的三維模型。上述兩個方法一方面沒有直接生成三角網格表示的三維模型，無法直接用于后續的編輯和繪制；另一方面忽視了手繪草圖中普遍存在的歧義性，所生成的三維模型不能很好地表示用戶的意圖。

因此，如何避免現有的基于手繪草圖生成的三維模型由于無法估計用戶的視角意圖造成三維模型歧義嚴重的情況，仍然是本領域技術人員亟待解決的問題。

發明內容

本發明提供一種基于單張手繪草圖的三維模型生成方法、裝置和電子設備，用以解決現有的基于手繪草圖生成的三維模型由于無法估計用戶的視角意圖造成三維模型歧義嚴重的問題，通過在進行三維構建模型訓練時引入視角標簽使得訓練出來的三維構建模型可以預測用戶草圖的準確視角，該準確視角在三維構建模型中可以提供視角信息使得構建好的三維模型的視角與草圖視角一致，避免三維模型相對于草圖的存在歧義。

本發明提供一種基于單張手繪草圖的三維模型生成方法，該方法包括：

獲取單張手繪草圖；

將所述單張手繪草圖輸入三維構建模型，輸出所述單張手繪草圖對應的三維模型；

其中，所述三維構建模型是基于單張手繪草圖樣本和對應的視角標簽進行訓練得到的，所述三維構建模型中包括視角預測網絡，用于提取輸入單張手繪草圖的預測視角。

根據本發明提供的一種基于單張手繪草圖的三維模型生成方法，

所述三維構建模型的網絡結構包括依次連接的圖像編碼器、所述視角預測網絡、視角編碼器和三維生成網絡，所述圖像編碼器與所述三維生成網絡連接。

根據本發明提供的一種基于單張手繪草圖的三維模型生成方法，所述三維構建模型的網絡結構包括依次連接的圖像編碼器、所述視角預測網絡、視角編碼器和三維生成網絡，所述圖像編碼器與所述三維生成網絡連接，具體包括：

所述三維構建模型的訓練過程中，