[發(fā)明專利]三維網(wǎng)格模型的重建方法及其裝置、設(shè)備、存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010699880.1
• 申請(qǐng)日: 2020-07-20
• 公開（公告）號(hào): CN111882666B
• 公開（公告）日: 2022-06-21
• 發(fā)明（設(shè)計(jì)）人: 李海;章國鋒;鮑虎軍;王楠;謝衛(wèi)健
• 申請(qǐng)（專利權(quán)）人: 浙江商湯科技開發(fā)有限公司
• 主分類號(hào): G06T17/20
• 分類號(hào): G06T17/20
• 代理公司: 深圳市威世博知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44280
• 代理人: 何倚雯

1.一種三維網(wǎng)格模型的重建方法，其特征在于，包括：

對(duì)目標(biāo)圖像進(jìn)行特征提取，得到目標(biāo)特征信息；其中，所述目標(biāo)圖像包含待重建對(duì)象；

基于所述目標(biāo)特征信息，確定所述待重建對(duì)象的顯著性區(qū)域；

根據(jù)所述顯著性區(qū)域，構(gòu)建所述待重建對(duì)象的最終三維網(wǎng)格模型；

所述根據(jù)所述顯著性區(qū)域，構(gòu)建所述待重建對(duì)象的最終三維網(wǎng)格模型，包括：

利用所述目標(biāo)特征信息構(gòu)建得到所述待重建對(duì)象的初始三維網(wǎng)格模型；

對(duì)所述初始三維網(wǎng)格模型進(jìn)行網(wǎng)格細(xì)分，得到所述待重建對(duì)象的所述最終三維網(wǎng)格模型，其中，所述網(wǎng)格細(xì)分包括對(duì)應(yīng)所述顯著性區(qū)域進(jìn)行局部網(wǎng)格細(xì)分。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述目標(biāo)特征信息，確定所述待重建對(duì)象的顯著性區(qū)域，包括：

利用所述目標(biāo)特征信息，將基礎(chǔ)點(diǎn)云模型變形為所述待重建對(duì)象對(duì)應(yīng)的目標(biāo)點(diǎn)云模型；

確定所述目標(biāo)點(diǎn)云模型的顯著性區(qū)域。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述利用所述特征信息，將基礎(chǔ)點(diǎn)云模型變形為所述待重建對(duì)象對(duì)應(yīng)的目標(biāo)點(diǎn)云模型，包括：

將所述基礎(chǔ)點(diǎn)云模型投影至所述目標(biāo)圖像所在平面，以確定所述基礎(chǔ)點(diǎn)云模型中各點(diǎn)對(duì)應(yīng)的所述目標(biāo)特征信息；

利用第一神經(jīng)網(wǎng)絡(luò)對(duì)所述基礎(chǔ)點(diǎn)云模型中各點(diǎn)對(duì)應(yīng)的目標(biāo)特征信息進(jìn)行處理，得到所述基礎(chǔ)點(diǎn)云模型變形為所述目標(biāo)點(diǎn)云模型后的各點(diǎn)的位置信息；

所述確定所述目標(biāo)點(diǎn)云模型的顯著性區(qū)域，包括：

獲取所述目標(biāo)點(diǎn)云模型的點(diǎn)分布情況；

查找出所述目標(biāo)點(diǎn)云模型中所述點(diǎn)分布情況滿足顯著性分布要求的點(diǎn)云區(qū)域，以作為所述顯著性區(qū)域。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，在所述將所述基礎(chǔ)點(diǎn)云模型投影至所述目標(biāo)圖像所在平面之前，所述方法還包括：

在單位球內(nèi)均勻采樣點(diǎn)，以得到所述基礎(chǔ)點(diǎn)云模型；

所述基礎(chǔ)點(diǎn)云模型變形為所述目標(biāo)點(diǎn)云模型后的各點(diǎn)的位置信息為：所述基礎(chǔ)點(diǎn)云模型變形為所述目標(biāo)點(diǎn)云模型后的各點(diǎn)的位置偏移量；

所述顯著性分布要求包括點(diǎn)分布密度大于預(yù)設(shè)密度值。

5.根據(jù)權(quán)利要求3或4所述的方法，其特征在于，所述方法還包括以下步驟，以訓(xùn)練得到所述第一神經(jīng)網(wǎng)絡(luò)：

獲取樣本圖像和樣本對(duì)象的真實(shí)三維網(wǎng)格模型，其中，所述樣本圖像包含所述樣本對(duì)象；

對(duì)所述樣本圖像進(jìn)行特征提取，得到樣本特征信息；

將所述基礎(chǔ)點(diǎn)云模型投影至所述樣本圖像所在平面，以確定所述基礎(chǔ)點(diǎn)云模型中各點(diǎn)對(duì)應(yīng)的所述樣本特征信息；

利用第一神經(jīng)網(wǎng)絡(luò)對(duì)所述基礎(chǔ)點(diǎn)云模型中各點(diǎn)對(duì)應(yīng)的樣本特征信息進(jìn)行處理，得到所述基礎(chǔ)點(diǎn)云模型變形為預(yù)測點(diǎn)云模型后的各點(diǎn)的位置信息；

對(duì)所述真實(shí)三維網(wǎng)格模型進(jìn)行網(wǎng)格簡化，得到簡化三維網(wǎng)格模型；

查找出所述預(yù)測點(diǎn)云模型中與所述簡化三維網(wǎng)格模型的各頂點(diǎn)匹配的點(diǎn)，得到若干組匹配點(diǎn)對(duì)；

利用每組匹配點(diǎn)對(duì)的位置差異，調(diào)整所述第一神經(jīng)網(wǎng)絡(luò)的參數(shù)。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)所述初始三維網(wǎng)格模型進(jìn)行網(wǎng)格細(xì)分，得到所述待重建對(duì)象的所述最終三維網(wǎng)格模型，包括：

以進(jìn)行本次網(wǎng)格細(xì)分之前的三維網(wǎng)格模型為第一三維網(wǎng)格模型；

將所述第一三維網(wǎng)格模型投影至所述目標(biāo)圖像所在平面，以確定所述第一三維網(wǎng)格模型中各頂點(diǎn)對(duì)應(yīng)的所述目標(biāo)特征信息；

在所述第一三維網(wǎng)格模型的目標(biāo)區(qū)域中增加至少一個(gè)新頂點(diǎn)；其中，所述目標(biāo)區(qū)域至少包括所述顯著性區(qū)域；

利用所述第一三維網(wǎng)格模型的原頂點(diǎn)的目標(biāo)特征信息，得到細(xì)分邊對(duì)應(yīng)的新頂點(diǎn)的目標(biāo)特征信息；

基于所述第一三維網(wǎng)格模型的原頂點(diǎn)和新頂點(diǎn)的目標(biāo)特征信息，得到經(jīng)本次網(wǎng)格細(xì)分后的第二三維網(wǎng)格模型。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，若本次網(wǎng)格細(xì)分為所述局部網(wǎng)格細(xì)分，則所述在所述第一三維網(wǎng)格模型的目標(biāo)區(qū)域中增加至少一個(gè)新頂點(diǎn)，包括：

在所述第一三維網(wǎng)格模型中，將位于所述顯著性區(qū)域的至少一條邊作為所述細(xì)分邊；

在所述細(xì)分邊上確定至少一個(gè)新頂點(diǎn)。