[發明專利]三維模型生成方法和裝置、設備、存儲介質

在審

• 申請號: 202210442401.7
• 申請日: 2022-04-25
• 公開（公告）號: CN114926582A
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 劉星龍;夏清;張云庚;韓泓澤;張少霆
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06N3/04;G06N3/08
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 何倚雯

1.一種三維模型生成方法，其特征在于，包括：

獲取包含目標對象的三維圖像；

對所述三維圖像進行特征提取，得到關于所述目標對象的特征；

基于所述目標對象的特征對三維模板進行變形，得到關于所述目標對象的三維模型。

2.根據權利要求1所述的方法，其特征在于，所述對所述三維圖像進行特征提取，得到關于所述目標對象的特征，包括：

利用網絡模型中的卷積網絡對所述三維圖像進行特征提取，得到關于所述目標對象的特征；

所述基于所述目標對象的特征對三維模板進行變形，得到關于所述目標對象的三維模型，包括：

利用所述網絡模型中的圖卷積網絡基于所述卷積網絡輸出的目標對象的特征對所述三維模板進行變形，得到關于所述目標對象的三維模型。

3.根據權利要求2所述的方法，其特征在于，所述卷積網絡包括若干個級聯的編碼模塊以及若干個級聯的解碼模塊，所述圖卷積網絡包括若干個級聯的變形模塊，每一所述變形模塊對應一個所述解碼模塊；

所述利用網絡模型中的卷積網絡對所述三維圖像進行特征提取，得到關于所述目標對象的特征，包括：

使用所述若干個級聯的編碼模塊對所述三維圖像進行編碼操作，以及使用若干個解碼模塊對所述編碼模塊的輸出結果進行解碼操作，得到各解碼模塊關于所述目標對象的特征；

所述利用所述網絡模型中的圖卷積網絡基于所述卷積網絡輸出的目標對象的特征對所述三維模板進行變形，得到關于所述目標對象的三維模型，包括：

對于所述圖卷積網絡中第一級的所述變形模塊，利用與所述變形模塊對應的解碼模塊輸出的所述目標對象的特征，對所述三維模板進行變形，得到所述變形模塊對應的變形三維模板；

對于所述非第一級的每一所述變形模塊，利用與每一所述變形模塊對應的解碼模塊輸出的所述目標對象的特征，對上一級所述變形模塊輸出的變形三維模板進行變形，得到所述變形模塊對應的變形三維模板；

其中，最后一級所述變形模塊得到的變形三維模板作為所述目標對象的三維模型。

4.根據權利要求3所述的方法，其特征在于，每個所述變形模塊包括特征提取子模塊以及推理子模塊，所述對于所述圖卷積網絡中第一級的所述變形模塊，利用與所述變形模塊對應的解碼模塊輸出的所述目標對象的特征，對所述三維模板進行變形，得到所述變形模塊對應的變形三維模板，包括：

利用所述變形模塊的特征提取子模塊，對所述三維模板以及與所述變形模塊對應的解碼模塊輸出的所述目標對象的特征進行特征提取，得到所述變形模塊關于所述目標對象的進階特征；

利用所述變形模塊的推理子模塊基于所述進階特征對所述三維模板進行變形，得到下一級變形模塊進行第二特征提取和變形中使用的變形三維模板；

所述對于所述非第一級的每一所述變形模塊，利用與每一所述變形模塊對應的解碼模塊輸出的所述目標對象的特征，對上一級所述變形模塊輸出的變形三維模板進行變形，得到所述變形模塊對應的變形三維模板，包括：

利用所述變形模塊的特征提取子模塊，對上一級所述變形模塊得到的進階特征和所述變形三維模板、以及與所述變形模塊對應的解碼模塊輸出的所述目標對象的特征進行特征提取，得到所述變形模塊關于所述目標對象的進階特征；

利用所述變形模塊的推理子模塊基于所述進階特征對上一級所述變形模塊得到的變形三維模板進行變形，得到所述變形模塊對應的變形三維模板。

5.根據權利要求3或4所述的方法，其特征在于，所述方法還包括對所述網絡模型的訓練步驟，所述訓練步驟包括：

獲取包含所述目標對象的樣本三維圖像；

利用所述網絡模型基于所述樣本三維圖像以及預設三維模板，得到關于所述目標對象的若干個訓練三維模型，所述若干個訓練三維模型包括所述圖卷積網絡中各級所述變形模塊輸出的訓練三維模型；

基于所述若干個訓練三維模型確定第一損失；

利用所述第一損失對所述網絡模型中的參數進行調整。