[發明專利]建模方法、建模裝置和電子設備

在審

• 申請號: 202010142636.5
• 申請日: 2020-03-04
• 公開（公告）號: CN111311736A
• 公開（公告）日: 2020-06-19
• 發明（設計）人: 劉思陽
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 許靜;黃燦

本發明實施例提供了一種建模方法、建模裝置和電子設，建模方法包括以下步驟：獲取二維圖像；確定所述二維圖像中目標對象的二維關鍵點和N個分割蒙版，其中，N為大于1的整數，每一所述分割蒙版的圖形與目標形狀的不同區域相對應，且所述N個分割蒙版的圖形拼接形成所述目標形狀，所述目標形狀為所述目標對象的形狀；基于所述二維關鍵點和所述分割蒙版生成所述目標對象的模型數據；根據所述目標對象的模型數據建立所述目標對象的三維模型。本發明實施例能夠提高對于每個分割蒙版對應的部分的控制精度，從而有助于提高建模精度，提高建模效果。

技術領域

本發明涉及計算機視覺技術領域，特別是涉及一種建模方法、建模裝置和電子設備。

背景技術

三維模型重建是計算機視覺技術中一種任務，主要通過計算機技術從圖片或視頻中重建或恢復，然而現有三維模型重建過程中需要基于二維圖像獲取建立三維模型所需的信息，其難度較大，導致建模的精度程度下降。

發明內容

本發明實施例的目的在于提供一種建模方法、建模裝置和電子設備，以提高建立模型的精度。具體技術方案如下：

在本發明實施的第一方面，提供了一種建模方法，包括以下步驟：

獲取二維圖像；

確定所述二維圖像中目標對象的二維關鍵點和N個分割蒙版，其中，N為大于1的整數，每一所述分割蒙版的圖形與目標形狀的不同區域相對應，且所述N個分割蒙版的圖形拼接形成所述目標形狀，所述目標形狀為所述目標對象的形狀；

基于所述二維關鍵點和所述分割蒙版生成所述目標對象的模型數據；

根據所述目標對象的模型數據建立所述目標對象的三維模型。

可選地，所述確定所述二維圖像中目標對象的二維關鍵點和分割蒙版，包括：

提取所述二維圖像中目標對象的二維關鍵點；

將所述二維圖像中的目標對象分割為多個部分，并根據所述目標對象的二維關鍵點生成與所述目標對象分割成的各部分對應的多個分割蒙版。

可選地，所述獲取二維圖像之前，還包括：

隨機生成多個訓練對象的模型數據，其中，所述模型數據包括所述訓練對象的姿態信息數據、鏡頭信息數據和形狀信息數據；

根據所述訓練對象的模型數據建立所述訓練對象的三維模型，并根據所述三維模型確定所述訓練對象的二維關鍵點和分割蒙版；

將所述訓練對象的二維關鍵點和分割蒙版輸入第一網絡模型，以通過所述第一網絡模型提取所述訓練對象的模型訓練數據，所述訓練對象的模型訓練數據包括所述訓練對象的姿態信息訓練數據、鏡頭信息訓練數據和形狀信息訓練數據；

根據所述訓練對象的模型訓練數據提取所述訓練對象的二維訓練關鍵點和分割訓練蒙版；

根據所述訓練對象的模型數據和模型訓練數據、所述二維關鍵點和所述二維訓練關鍵點、所述分割蒙版和分割訓練模板對所述第一網絡模型進行模型訓練，并將訓練完成的所述第一網絡模型作為模型數據提取網絡，所述模型數據提取網絡用于基于所述目標對象的二維關鍵點和分割蒙版確定所述目標對象的模型數據。

可選地，所述根據所述訓練對象的模型數據和模型訓練數據、所述二維關鍵點和所述二維訓練關鍵點、所述分割蒙版和分割訓練模板對所述第一網絡模型進行模型訓練，包括：

根據所述訓練對象的姿態信息數據和姿態信息訓練數據確定姿態信息的損失值，根據所述訓練對象的鏡頭信息數據和鏡頭信息訓練數據確定鏡頭信息的損失值，根據所述訓練對象的形狀信息數據和形狀信息訓練數據確定形狀信息的損失值，根據所述訓練對象的二維關鍵點和二維訓練關鍵點確定關鍵點的損失值，根據所述訓練對象的分割蒙版和分割訓練模板確定所述分割蒙版的總損失值；