[發(fā)明專利]一種生成任意幀率的三維網(wǎng)格模型序列的方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202110416920.1
• 申請(qǐng)日: 2021-04-19
• 公開(kāi)（公告）號(hào): CN113112607B
• 公開(kāi)（公告）日: 2022-09-06
• 發(fā)明（設(shè)計(jì)）人: 付彥偉;姜柏言;張寅達(dá);薛向陽(yáng)
• 申請(qǐng)（專利權(quán)）人: 復(fù)旦大學(xué)
• 主分類號(hào): G06T17/20
• 分類號(hào): G06T17/20;G06N3/08;G06N3/04;G06F17/13
• 代理公司: 上海德昭知識(shí)產(chǎn)權(quán)代理有限公司 31204
• 代理人: 郁旦蓉

1.一種生成任意幀率的三維網(wǎng)格模型序列的方法，用于對(duì)稀疏的三維點(diǎn)云序列進(jìn)行處理，得到該序列當(dāng)中任意時(shí)刻所對(duì)應(yīng)的三維網(wǎng)格模型，其特征在于，包括如下步驟：

步驟S1，對(duì)預(yù)先獲取的包括多個(gè)三維模型的三維模型數(shù)據(jù)集進(jìn)行預(yù)處理得到訓(xùn)練樣本，所述訓(xùn)練樣本包含成對(duì)的三維點(diǎn)云序列以及三維采樣點(diǎn)位于所述三維模型的內(nèi)部或外部的標(biāo)簽信息；

步驟S2，搭建三個(gè)三維點(diǎn)云特征提取網(wǎng)絡(luò)，分別對(duì)成對(duì)的所述三維點(diǎn)云序列提取初始姿態(tài)特征、全局幾何特征以及全局運(yùn)動(dòng)特征，并分別表述為初始姿態(tài)編碼、身份編碼以及運(yùn)動(dòng)編碼；

步驟S3，隨機(jī)決定是否交換成對(duì)的所述三維點(diǎn)云序列的所述身份編碼；

步驟S4，搭建神經(jīng)常微分方程網(wǎng)絡(luò)，將所述三維點(diǎn)云序列所對(duì)應(yīng)的所述運(yùn)動(dòng)編碼作為指導(dǎo)編碼對(duì)所述初始姿態(tài)編碼進(jìn)行變換，得到查詢時(shí)刻T=t對(duì)應(yīng)的姿態(tài)編碼；

步驟S5，搭建深度解碼網(wǎng)絡(luò)；

步驟S6，構(gòu)建損失函數(shù)；

步驟S7，基于所述損失函數(shù)對(duì)由所述三維點(diǎn)云特征提取網(wǎng)絡(luò)、所述神經(jīng)常微分方程網(wǎng)絡(luò)以及所述深度解碼網(wǎng)絡(luò)組成的三維模型生成模型進(jìn)行訓(xùn)練得到訓(xùn)練完成的所述三維模型生成模型；

步驟S8，將單個(gè)所述三維點(diǎn)云序列以及所述查詢時(shí)刻T=t輸入訓(xùn)練完成的所述三維模型生成模型，利用預(yù)定的表面提取算法對(duì)三維表面隱函數(shù)提取表面，得到所述查詢時(shí)刻T=t對(duì)應(yīng)的三維網(wǎng)格模型并輸出，

其中，所述查詢時(shí)刻T=t為指定時(shí)間范圍內(nèi)的任意標(biāo)量值。

2.根據(jù)權(quán)利要求1所述的生成任意幀率的三維網(wǎng)格模型序列的方法，其特征在于：

其中，所述步驟S5中，建模三維表面隱函數(shù)，將所述三維點(diǎn)云序列所對(duì)應(yīng)的T=t時(shí)刻的所述姿態(tài)編碼以及身份編碼連接起來(lái)作為指導(dǎo)編碼，對(duì)在指定體積內(nèi)采樣得到的三維點(diǎn)預(yù)測(cè)其位于所述三維模型的內(nèi)部的概率從而建立所述深度解碼網(wǎng)絡(luò)。

3.根據(jù)權(quán)利要求1所述的生成任意幀率的三維網(wǎng)格模型序列的方法，其特征在于：

其中，所述步驟S5中，利用經(jīng)典的SMPL人體參數(shù)化模型，以所述姿態(tài)編碼和所述身份編碼作為輸入得到對(duì)應(yīng)的網(wǎng)格頂點(diǎn)坐標(biāo)從而建立所述深度解碼網(wǎng)絡(luò)。

4.根據(jù)權(quán)利要求1所述的生成任意幀率的三維網(wǎng)格模型序列的方法，其特征在于：

其中，所述三個(gè)三維點(diǎn)云特征提取網(wǎng)絡(luò)分別為初始姿態(tài)特征提取網(wǎng)絡(luò)，全局幾何特征提取網(wǎng)絡(luò)以及全局運(yùn)動(dòng)特征提取網(wǎng)絡(luò),

所述初始姿態(tài)特征提取網(wǎng)絡(luò)、所述全局幾何特征提取網(wǎng)絡(luò)以及所述全局運(yùn)動(dòng)特征提取網(wǎng)絡(luò)均由五個(gè)級(jí)聯(lián)的殘差塊組成，

五個(gè)所述殘差塊中，前四個(gè)所述殘差塊包括兩層全連接層、一個(gè)最大池化層以及一個(gè)擴(kuò)展連接操作，最后一個(gè)所述殘差塊包括三層全連接層以及一個(gè)最大池化層，

所述全局幾何特征提取網(wǎng)絡(luò)和初始姿態(tài)提取網(wǎng)絡(luò)對(duì)所述三維點(diǎn)云序列的第一幀點(diǎn)云提取全局幾何特征以及所述初始姿態(tài)特征，

所述全局運(yùn)動(dòng)特征提取網(wǎng)絡(luò)對(duì)整個(gè)所述三維點(diǎn)云序列提取所述全局運(yùn)動(dòng)特征。

5.根據(jù)權(quán)利要求4所述的生成任意幀率的三維網(wǎng)格模型序列的方法，其特征在于：

其中，所述殘差塊的所述擴(kuò)展連接操作為將所述最大池化層輸出的特征復(fù)制N倍，再將復(fù)制后的所述特征與所述最大池化層的輸入在特征維度進(jìn)行連接，

N為輸入的所述三維點(diǎn)云序列的點(diǎn)數(shù)。

6.根據(jù)權(quán)利要求1所述的生成任意幀率的三維網(wǎng)格模型序列的方法，其特征在于：

其中，所述神經(jīng)常微分方程網(wǎng)絡(luò)包括向量場(chǎng)網(wǎng)絡(luò)以及預(yù)定的常微分方程解決器，

所述向量場(chǎng)網(wǎng)絡(luò)由五個(gè)級(jí)聯(lián)的包含兩層全連接層的殘差塊組成。

7.根據(jù)權(quán)利要求2所述的生成任意幀率的三維網(wǎng)格模型序列的方法，其特征在于：

其中，步驟S5中，所述深度解碼網(wǎng)絡(luò)由五個(gè)級(jí)聯(lián)的包含兩層全連接層的殘差塊組成，

所述采樣得到的三維點(diǎn)為訓(xùn)練樣本的采樣點(diǎn)。