[發明專利]建模方法、建模裝置和電子設備

在審

• 申請號: 202010142321.0
• 申請日: 2020-03-04
• 公開（公告）號: CN111325832A
• 公開（公告）日: 2020-06-23
• 發明（設計）人: 劉思陽
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 許靜;黃燦

本發明實施例提供了一種建模方法、建模裝置和電子設備，建模方法包括以下步驟：獲取二維圖像；確定所述二維圖像中目標對象的二維關鍵點和蒙版，其中，所述蒙版的形狀與所述目標對象的形狀相對應；基于所述二維關鍵點和所述蒙版生成所述目標對象的模型數據；根據所述目標對象的模型數據建立所述目標對象的三維模型。本發明實施例的技術方案通過確定目標對象在二維圖像中的二維關鍵點，生成目標對象的模型數據以建立目標對象的三維模型，能夠降低對于三維數據的依賴，從而簡化建模過程，有助于降低建模成本。

技術領域

本發明涉及計算機視覺技術領域，特別是涉及一種建模方法、建模裝置和電子設備。

背景技術

三維模型重建是計算機視覺技術中一種任務，主要通過計算機技術從圖片或視頻中重建或恢復，然而現有三維模型重建任務需要對圖片或視頻中的對象進行的關鍵點進行標注，然而在三維模型上進行關鍵點的標注所需的計算量和標注成本較高，會導致建模成本顯著增加。

發明內容

本發明實施例的目的在于提供一種建模方法、建模裝置和電子設備，以實現降低基于圖片或視頻中的對象進行三維建模的成本。具體技術方案如下：

在本發明實施的第一方面，首先提供了一種建模方法，包括以下步驟：

獲取二維圖像；

確定所述二維圖像中目標對象的二維關鍵點和蒙版，其中，所述蒙版的形狀與所述目標對象的形狀相對應；

基于所述二維關鍵點和所述蒙版生成所述目標對象的模型數據；

根據所述目標對象的模型數據建立所述目標對象的三維模型。

可選地，所述基于所述二維關鍵點和所述蒙版確定所述目標對象的模型數據，包括：

將所述目標對象的二維關鍵點和蒙版輸入模型數據提取網絡，獲得所述目標對象的模型數據；

其中，所述模型數據提取網絡是由訓練對象的二維關鍵點和蒙版作為輸入，所述訓練對象的模型訓練數據作為輸出，并根據所述訓練對象的模型訓練數據與所述訓練對象的模型數據進行反饋，以進行模型訓練得到，所述訓練對象的二維關鍵點和蒙版是根據所述訓練對象的模型數據確定的，所述訓練對象的模型數據包括所述訓練對象的姿態信息數據、鏡頭信息數據和形狀信息數據，所述模型訓練數據包括所述訓練對象的姿態信息訓練數據、鏡頭信息訓練數據和形狀信息訓練數據。

可選地，所述獲取二維圖像之前，還包括：

隨機生成多組訓練對象的模型數據；

根據所述訓練對象的模型數據建立所述訓練對象的三維模型，并根據所述三維模型確定所述訓練對象的二維關鍵點和蒙版；

將所述訓練對象的二維關鍵點和蒙版輸入第一網絡模型，以通過所述第一網絡模型提取所述訓練對象的模型訓練數據；

根據所述訓練對象的模型數據和模型訓練數據對所述第一網絡模型進行模型訓練，并將訓練完成的所述第一網絡模型作為所述模型數據提取網絡。

可選地，所述根據所述訓練對象的模型數據和模型訓練數據對所述第一網絡模型進行模型訓練，包括：

分別根據所述訓練對象的姿態信息數據和姿態信息訓練數據確定姿態信息的損失值，根據所述訓練對象的鏡頭信息數據和鏡頭信息訓練數據確定鏡頭信息的損失值，根據所述訓練對象的形狀信息數據和形狀信息訓練數據確定形狀信息的損失值；

根據所述姿態信息的損失值、鏡頭信息的損失值和形狀信息的損失值確定所述訓練對象的模型數據和模型訓練數據的總損失值，并根據所述總損失值調整所述第一網絡模型的參數；

在所述訓練對象的模型數據和模型訓練數據的總損失值小于預設損失值閾值的情況下，將所述第一網絡模型作為所述模型數據提取網絡。