[發(fā)明專利]建模方法、建模裝置和電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202010142636.5
• 申請(qǐng)日: 2020-03-04
• 公開（公告）號(hào): CN111311736A
• 公開（公告）日: 2020-06-19
• 發(fā)明（設(shè)計(jì)）人: 劉思陽
• 申請(qǐng)（專利權(quán)）人: 北京奇藝世紀(jì)科技有限公司
• 主分類號(hào): G06T17/00
• 分類號(hào): G06T17/00
• 代理公司: 北京銀龍知識(shí)產(chǎn)權(quán)代理有限公司 11243
• 代理人: 許靜;黃燦

1.一種建模方法，其特征在于，包括以下步驟：

獲取二維圖像；

確定所述二維圖像中目標(biāo)對(duì)象的二維關(guān)鍵點(diǎn)和N個(gè)分割蒙版，其中，N為大于1的整數(shù)，每一所述分割蒙版的圖形與目標(biāo)形狀的不同區(qū)域相對(duì)應(yīng)，且所述N個(gè)分割蒙版的圖形拼接形成所述目標(biāo)形狀，所述目標(biāo)形狀為所述目標(biāo)對(duì)象的形狀；

基于所述二維關(guān)鍵點(diǎn)和所述分割蒙版生成所述目標(biāo)對(duì)象的模型數(shù)據(jù)；

根據(jù)所述目標(biāo)對(duì)象的模型數(shù)據(jù)建立所述目標(biāo)對(duì)象的三維模型。

2.根據(jù)權(quán)利要求1所述的建模方法，其特征在于，所述確定所述二維圖像中目標(biāo)對(duì)象的二維關(guān)鍵點(diǎn)和分割蒙版，包括：

提取所述二維圖像中目標(biāo)對(duì)象的二維關(guān)鍵點(diǎn)；

將所述二維圖像中的目標(biāo)對(duì)象分割為多個(gè)部分，并根據(jù)所述目標(biāo)對(duì)象的二維關(guān)鍵點(diǎn)生成與所述目標(biāo)對(duì)象分割成的各部分對(duì)應(yīng)的多個(gè)分割蒙版。

3.根據(jù)權(quán)利要求1或2所述的建模方法，其特征在于，所述獲取二維圖像之前，還包括：

隨機(jī)生成多個(gè)訓(xùn)練對(duì)象的模型數(shù)據(jù)，其中，所述模型數(shù)據(jù)包括所述訓(xùn)練對(duì)象的姿態(tài)信息數(shù)據(jù)、鏡頭信息數(shù)據(jù)和形狀信息數(shù)據(jù)；

根據(jù)所述訓(xùn)練對(duì)象的模型數(shù)據(jù)建立所述訓(xùn)練對(duì)象的三維模型，并根據(jù)所述三維模型確定所述訓(xùn)練對(duì)象的二維關(guān)鍵點(diǎn)和分割蒙版；

將所述訓(xùn)練對(duì)象的二維關(guān)鍵點(diǎn)和分割蒙版輸入第一網(wǎng)絡(luò)模型，以通過所述第一網(wǎng)絡(luò)模型提取所述訓(xùn)練對(duì)象的模型訓(xùn)練數(shù)據(jù)，所述訓(xùn)練對(duì)象的模型訓(xùn)練數(shù)據(jù)包括所述訓(xùn)練對(duì)象的姿態(tài)信息訓(xùn)練數(shù)據(jù)、鏡頭信息訓(xùn)練數(shù)據(jù)和形狀信息訓(xùn)練數(shù)據(jù)；

根據(jù)所述訓(xùn)練對(duì)象的模型訓(xùn)練數(shù)據(jù)提取所述訓(xùn)練對(duì)象的二維訓(xùn)練關(guān)鍵點(diǎn)和分割訓(xùn)練蒙版；

根據(jù)所述訓(xùn)練對(duì)象的模型數(shù)據(jù)和模型訓(xùn)練數(shù)據(jù)、所述二維關(guān)鍵點(diǎn)和所述二維訓(xùn)練關(guān)鍵點(diǎn)、所述分割蒙版和分割訓(xùn)練模板對(duì)所述第一網(wǎng)絡(luò)模型進(jìn)行模型訓(xùn)練，并將訓(xùn)練完成的所述第一網(wǎng)絡(luò)模型作為模型數(shù)據(jù)提取網(wǎng)絡(luò)，所述模型數(shù)據(jù)提取網(wǎng)絡(luò)用于基于所述目標(biāo)對(duì)象的二維關(guān)鍵點(diǎn)和分割蒙版確定所述目標(biāo)對(duì)象的模型數(shù)據(jù)。

4.根據(jù)權(quán)利要求3所述的建模方法，其特征在于，所述根據(jù)所述訓(xùn)練對(duì)象的模型數(shù)據(jù)和模型訓(xùn)練數(shù)據(jù)、所述二維關(guān)鍵點(diǎn)和所述二維訓(xùn)練關(guān)鍵點(diǎn)、所述分割蒙版和分割訓(xùn)練模板對(duì)所述第一網(wǎng)絡(luò)模型進(jìn)行模型訓(xùn)練，包括：

根據(jù)所述訓(xùn)練對(duì)象的姿態(tài)信息數(shù)據(jù)和姿態(tài)信息訓(xùn)練數(shù)據(jù)確定姿態(tài)信息的損失值，根據(jù)所述訓(xùn)練對(duì)象的鏡頭信息數(shù)據(jù)和鏡頭信息訓(xùn)練數(shù)據(jù)確定鏡頭信息的損失值，根據(jù)所述訓(xùn)練對(duì)象的形狀信息數(shù)據(jù)和形狀信息訓(xùn)練數(shù)據(jù)確定形狀信息的損失值，根據(jù)所述訓(xùn)練對(duì)象的二維關(guān)鍵點(diǎn)和二維訓(xùn)練關(guān)鍵點(diǎn)確定關(guān)鍵點(diǎn)的損失值，根據(jù)所述訓(xùn)練對(duì)象的分割蒙版和分割訓(xùn)練模板確定所述分割蒙版的總損失值；

根據(jù)所述姿態(tài)信息的損失值、鏡頭信息的損失值、形狀信息的損失值、關(guān)鍵點(diǎn)的損失值和分割蒙版的總損失值確定所述第一網(wǎng)絡(luò)模型的輸出結(jié)果的總損失值；

根據(jù)所述第一網(wǎng)絡(luò)模型的輸出結(jié)果的總損失值調(diào)整所述第一網(wǎng)絡(luò)模型的參數(shù)；

在所述訓(xùn)練對(duì)象的模型數(shù)據(jù)和模型訓(xùn)練數(shù)據(jù)的總損失值小于預(yù)設(shè)損失值閾值的情況下，將所述第一網(wǎng)絡(luò)模型作為所述模型數(shù)據(jù)提取網(wǎng)絡(luò)。

5.根據(jù)權(quán)利要求4所述的建模方法，其特征在于，所述根據(jù)所述訓(xùn)練對(duì)象的分割蒙版和分割訓(xùn)練蒙版確定所述分割蒙版的損失值，包括：

獲取每一所述分割訓(xùn)練蒙版相對(duì)于相應(yīng)的分割蒙版的損失值，并將各所述分割蒙版的損失值的加權(quán)值作為所述分割蒙版的總損失值。

6.一種建模裝置，其特征在于，包括：

獲取模塊，用于獲取二維圖像；

確定模塊，用于確定所述二維圖像中目標(biāo)對(duì)象的二維關(guān)鍵點(diǎn)和N個(gè)分割蒙版，其中，N為大于1的整數(shù)，每一所述分割蒙版的圖形與目標(biāo)形狀的不同區(qū)域相對(duì)應(yīng)，且所述N個(gè)分割蒙版的圖形拼接形成所述目標(biāo)形狀，所述目標(biāo)形狀為所述目標(biāo)對(duì)象的形狀；

生成模塊，用于基于所述二維關(guān)鍵點(diǎn)和所述分割蒙版生成所述目標(biāo)對(duì)象的模型數(shù)據(jù)；

建模模塊，用于根據(jù)所述目標(biāo)對(duì)象的模型數(shù)據(jù)建立所述目標(biāo)對(duì)象的三維模型。