[發明專利]基于單張手繪草圖的三維模型生成方法、裝置和電子設備

在審

• 申請號: 202110390327.4
• 申請日: 2021-04-12
• 公開（公告）號: CN113129447A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 張松海;郭元晨;顧清雯
• 申請（專利權）人: 清華大學
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06N3/04;G06N3/08
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 聶俊偉

1.一種基于單張手繪草圖的三維模型生成方法，其特征在于，包括：

獲取單張手繪草圖；

將所述單張手繪草圖輸入三維構建模型，輸出所述單張手繪草圖對應的三維模型；

其中，所述三維構建模型是基于單張手繪草圖樣本和對應的視角標簽進行訓練得到的，所述三維構建模型中包括視角預測網絡，用于提取輸入單張手繪草圖的預測視角。

2.根據權利要求1所述的基于單張手繪草圖的三維模型生成方法，其特征在于，所述三維構建模型的網絡結構包括依次連接的圖像編碼器、所述視角預測網絡、視角編碼器和三維生成網絡，所述圖像編碼器與所述三維生成網絡連接。

3.根據權利要求2所述的基于單張手繪草圖的三維模型生成方法，其特征在于，所述三維構建模型的網絡結構包括依次連接的圖像編碼器、所述視角預測網絡、視角編碼器和三維生成網絡，所述圖像編碼器與所述三維生成網絡連接，具體包括：

所述三維構建模型的訓練過程中，

圖像編碼器用于將輸入的單張手繪草圖樣本進行編碼得到形狀特征向量和視角特征向量并分別輸出至三維生成網絡和視角預測網絡；

所述視角預測網絡用于對所述視角特征向量進行預測解碼得到預測視角，基于所述預測視角與對應的視角標簽確定預測視角誤差；

視角編碼器用于將輸入所述對應的視角標簽進行編碼得到新的視角特征向量輸出至三維生成網絡；

所述三維生成網絡基于所述新的視角特征向量和所述形狀特征向量生成預測三維模型；

在所述三維構建模型的輸出端連接可微渲染模塊，所述可微渲染模塊基于預測三維模型生成預測掩模，基于所述預測掩模和標準掩模確定預測三維模型誤差；

訓練過程中的損失函數是基于所述預測三維模型誤差和所述預測視角誤差構建的。

4.根據權利要求3所述的基于單張手繪草圖的三維模型生成方法，其特征在于，所述訓練過程中的損失函數是基于所述預測三維模型誤差和所述預測視角誤差構建的，具體包括：

所述預測三維模型誤差基于所述預測掩模和所述標準掩模之間的誤差表征，所述標準掩模為所述單張手繪草圖樣本的掩模。

5.根據權利要求4所述的基于單張手繪草圖的三維模型生成方法，其特征在于，所述預測掩模包括所述預測三維模型在所述對應的視角標簽下的掩模和基于隨機視角構建的隨機預測三維模型在所述隨機視角下的掩模。

6.根據權利要求5所述的基于單張手繪草圖的三維模型生成方法，其特征在于，所述損失函數，具體包括：

所述預測三維模型在所述對應的視角標簽下的掩模與所述單張手繪草圖樣本和所述標準掩模之間的交并比，基于隨機視角構建的隨機預測三維模型在所述隨機視角下的掩模與所述標準掩模之間的交并比，以及，

所述對應的視角標簽和所述隨機視角在經過形狀判別器之后的交叉熵。

7.根據權利要求3-6中任一項所述的基于單張手繪草圖的三維模型生成方法，其特征在于，還包括：

獲取所述單張手繪草圖對應的指定視角；

相應地，所述將所述單張手繪草圖輸入三維構建模型，輸出所述單張手繪草圖對應的三維模型，包括：

將所述單張手繪草圖輸入所述三維構建模型的圖像編碼器輸出形狀特征向量至所述三維構建模型；

將所述指定視角輸入所述視角編碼器輸出指定視角向量特征至所述三維構建模型；

所述三維構建模型基于所述形狀特征向量和所述指定視角向量特征生成三維模型。

8.一種基于單張手繪草圖的三維模型生成裝置，其特征在于，包括：

獲取單元，用于獲取單張手繪草圖；

構建單元，用于將所述單張手繪草圖輸入三維構建模型，輸出所述單張手繪草圖對應的三維模型；

其中，所述三維構建模型是基于單張手繪草圖樣本和對應的視角標簽進行訓練得到的，所述三維構建模型中包括視角預測網絡，用于提取輸入單張手繪草圖的預測視角。