[發(fā)明專利]三維模型的重構(gòu)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010135051.0
• 申請(qǐng)日: 2020-03-02
• 公開（公告）號(hào): CN111369681B
• 公開（公告）日: 2022-04-15
• 發(fā)明（設(shè)計(jì)）人: 向天戈
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06T17/20
• 分類號(hào): G06T17/20
• 代理公司: 北京三高永信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 祝亞男

1.一種三維模型的重構(gòu)方法，其特征在于，所述方法包括：

獲取單張目標(biāo)圖像，所述目標(biāo)圖像中包含目標(biāo)重構(gòu)對(duì)象的影像；

對(duì)所述目標(biāo)圖像進(jìn)行特征提取，得到所述目標(biāo)圖像對(duì)應(yīng)的目標(biāo)特征圖；

將所述目標(biāo)特征圖輸入網(wǎng)格重構(gòu)網(wǎng)絡(luò)，并將所述目標(biāo)特征圖輸入體素重構(gòu)網(wǎng)絡(luò)，所述網(wǎng)格重構(gòu)網(wǎng)絡(luò)和所述體素重構(gòu)網(wǎng)絡(luò)之間語義連接，所述網(wǎng)格重構(gòu)網(wǎng)絡(luò)用于根據(jù)所述目標(biāo)特征圖重構(gòu)所述目標(biāo)重構(gòu)對(duì)象的三維網(wǎng)格模型，所述體素重構(gòu)網(wǎng)絡(luò)用于根據(jù)所述目標(biāo)特征圖重構(gòu)所述目標(biāo)重構(gòu)對(duì)象的體素模型；

根據(jù)所述網(wǎng)格重構(gòu)網(wǎng)絡(luò)輸出的目標(biāo)網(wǎng)格信息構(gòu)建目標(biāo)三維模型，所述目標(biāo)網(wǎng)格信息是所述目標(biāo)三維模型中網(wǎng)格頂點(diǎn)的信息。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述網(wǎng)格重構(gòu)網(wǎng)絡(luò)包括關(guān)鍵點(diǎn)提取子網(wǎng)絡(luò)、鄰接關(guān)系提取子網(wǎng)絡(luò)和第一解碼器；

所述將所述目標(biāo)特征圖輸入網(wǎng)格重構(gòu)網(wǎng)絡(luò)，包括：

將所述目標(biāo)特征圖輸入所述關(guān)鍵點(diǎn)提取子網(wǎng)絡(luò)，得到所述關(guān)鍵點(diǎn)提取子網(wǎng)絡(luò)輸出的關(guān)鍵點(diǎn)特征圖，所述關(guān)鍵點(diǎn)特征圖包括所述目標(biāo)圖像中關(guān)鍵特征點(diǎn)的圖像特征；

將所述目標(biāo)特征圖輸入所述鄰接關(guān)系提取子網(wǎng)絡(luò)，得到所述鄰接關(guān)系提取子網(wǎng)絡(luò)輸出的鄰接矩陣，所述鄰接矩陣用于表征所述目標(biāo)重構(gòu)對(duì)象中特征點(diǎn)的鄰接關(guān)系；

通過所述第一解碼器對(duì)所述關(guān)鍵點(diǎn)特征圖和所述鄰接矩陣進(jìn)行圖卷積處理。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述通過所述第一解碼器對(duì)所述關(guān)鍵點(diǎn)特征圖和所述鄰接矩陣進(jìn)行圖卷積處理，包括：

根據(jù)所述關(guān)鍵點(diǎn)特征圖中各個(gè)位置的特征值，確定所述關(guān)鍵特征點(diǎn)；

根據(jù)所述關(guān)鍵特征點(diǎn)和所述鄰接矩陣，確定關(guān)鍵點(diǎn)鄰接矩陣，所述關(guān)鍵點(diǎn)鄰接矩陣用于表征所述關(guān)鍵特征點(diǎn)之間的鄰接關(guān)系；

通過所述第一解碼器對(duì)所述關(guān)鍵點(diǎn)特征圖和所述關(guān)鍵點(diǎn)鄰接矩陣進(jìn)行圖卷積處理。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述體素重構(gòu)網(wǎng)絡(luò)包括第二解碼器，所述第二解碼器用于對(duì)所述目標(biāo)特征圖進(jìn)行三維卷積處理，且所述第一解碼器與所述第二解碼器之間語義連接；

所述將所述目標(biāo)特征圖輸入網(wǎng)格重構(gòu)網(wǎng)絡(luò)，并將所述目標(biāo)特征圖輸入體素重構(gòu)網(wǎng)絡(luò)之后，所述方法還包括：

獲取所述第二解碼器中第n三維卷積層輸出的三維特征，所述三維特征用于表征重構(gòu)體素的特征，n為大于等于1的整數(shù)；

獲取所述第一解碼器中第n圖卷積層輸出的圖節(jié)點(diǎn)特征，所述圖節(jié)點(diǎn)特征用于表征重構(gòu)網(wǎng)格頂點(diǎn)的特征；

對(duì)所述三維特征和所述圖節(jié)點(diǎn)特征進(jìn)行特征融合，并將融合后的特征輸入第n+1圖卷積層。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述對(duì)所述三維特征和所述圖節(jié)點(diǎn)特征進(jìn)行特征融合，包括：

獲取所述圖節(jié)點(diǎn)特征對(duì)應(yīng)重構(gòu)網(wǎng)格頂點(diǎn)的頂點(diǎn)坐標(biāo)；

對(duì)所述頂點(diǎn)坐標(biāo)周側(cè)的所述三維特征進(jìn)行線性插值運(yùn)算，并將線性插值運(yùn)算得到的特征與所述圖節(jié)點(diǎn)特征進(jìn)行特征融合。

6.根據(jù)權(quán)利要求1至5任一所述的方法，其特征在于，所述根據(jù)所述網(wǎng)格重構(gòu)網(wǎng)絡(luò)輸出的目標(biāo)網(wǎng)格信息構(gòu)建目標(biāo)三維模型之后，所述方法還包括：

在虛擬環(huán)境中顯示所述目標(biāo)三維模型，所述目標(biāo)三維模型是所述虛擬環(huán)境中的虛擬道具、虛擬載具或虛擬對(duì)象中的至少一種；

或者，

向立體打印設(shè)備發(fā)送所述目標(biāo)三維模型的模型數(shù)據(jù)，所述立體打印設(shè)備用于根據(jù)所述模型數(shù)據(jù)打印實(shí)體模型。

7.根據(jù)權(quán)利要求1至5任一所述的方法，其特征在于，所述方法還包括：

對(duì)樣本圖像進(jìn)行特征提取，得到所述樣本圖像對(duì)應(yīng)的樣本特征圖，所述樣本圖像中包括樣本重構(gòu)對(duì)象的影像；

將所述樣本特征圖輸入所述網(wǎng)格重構(gòu)網(wǎng)絡(luò)，并將所述樣本特征圖輸入所述體素重構(gòu)網(wǎng)絡(luò)；

獲取所述網(wǎng)格重構(gòu)網(wǎng)絡(luò)輸出的樣本網(wǎng)格信息，以及所述體素重構(gòu)網(wǎng)絡(luò)輸出的樣本體素信息；

根據(jù)所述樣本網(wǎng)格信息、所述樣本體素信息以及標(biāo)準(zhǔn)三維模型，確定網(wǎng)絡(luò)損失，所述標(biāo)準(zhǔn)三維模型是所述樣本重構(gòu)對(duì)象對(duì)應(yīng)的三維模型；

根據(jù)所述網(wǎng)絡(luò)損失訓(xùn)練所述網(wǎng)格重構(gòu)網(wǎng)絡(luò)和所述體素重構(gòu)網(wǎng)絡(luò)。