[發(fā)明專利]基于體態(tài)的三維模型獲取方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201711228564.0
• 申請(qǐng)日: 2017-11-29
• 公開（公告）號(hào): CN108053437B
• 公開（公告）日: 2021-08-03
• 發(fā)明（設(shè)計(jì)）人: 劉燁斌;鄭澤榮;黃源浩
• 申請(qǐng)（專利權(quán)）人: 奧比中光科技集團(tuán)股份有限公司
• 主分類號(hào): G06T7/55
• 分類號(hào): G06T7/55;G06T17/20;H04N13/207;H04N13/239;H04N13/254;H04N13/257;H04N13/275
• 代理公司: 深圳新創(chuàng)友知識(shí)產(chǎn)權(quán)代理有限公司 44223
• 代理人: 程丹

1.一種基于體態(tài)的三維模型獲取方法，其特征在于，包括如下步驟：

S1.獲取包含對(duì)象各個(gè)局部的深度圖像；

S2.將所述對(duì)象各個(gè)局部的深度圖像進(jìn)行動(dòng)態(tài)融合，獲得各個(gè)局部的三維網(wǎng)格；

S3.利用標(biāo)準(zhǔn)模型匹配各個(gè)局部的三維網(wǎng)格，求取形態(tài)參數(shù)和關(guān)節(jié)變換矩陣；

S4.根據(jù)形態(tài)參數(shù)和關(guān)節(jié)變換矩陣，獲取三維模型；

所述步驟S3包括：

S31.將SMPL人體模型進(jìn)行形態(tài)變化和姿態(tài)變化，匹配各個(gè)局部的三維網(wǎng)格；建立能量函數(shù)，求取各個(gè)三維網(wǎng)格下的初始形態(tài)參數(shù)和初始關(guān)節(jié)變換矩陣；

S32.將所述各個(gè)三維網(wǎng)格下的初始形態(tài)參數(shù)進(jìn)行平均，獲得最終的形態(tài)參數(shù)；

S33.根據(jù)所述初始關(guān)節(jié)變換矩陣以及SMPL人體模型與三維網(wǎng)格的匹配結(jié)果，將各個(gè)局部的三維網(wǎng)格反變換至標(biāo)準(zhǔn)姿態(tài)三維網(wǎng)格；依據(jù)標(biāo)準(zhǔn)姿態(tài)三維網(wǎng)格，對(duì)初始關(guān)節(jié)變換矩陣進(jìn)行優(yōu)化，獲得最終的關(guān)節(jié)變換矩陣。

2.如權(quán)利要求1所述的方法，其特征在于，所述步驟S2包括：

S21.建立參考TSDF體，將第一幅深度圖像融合到TSDF體中，得到初始三維網(wǎng)格；

S22.對(duì)于后續(xù)獲取的每一幅深度圖像，獲取已有三維網(wǎng)格到深度圖像之間的匹配點(diǎn)對(duì)；

S23.根據(jù)匹配點(diǎn)對(duì)求取網(wǎng)格的非剛性運(yùn)動(dòng)場(chǎng)；

S24.根據(jù)非剛性運(yùn)動(dòng)場(chǎng)，將深度圖像融合到TSDF體中，得到新的三維網(wǎng)格；

S25.重復(fù)步驟S22-S24，直至所有深度圖像全部融合到TSDF體中，得到最終的三維網(wǎng)格。

3.如權(quán)利要求1所述的方法，其特征在于，所述步驟S31中的所述能量函數(shù)為：

E＝arg min E_{dis tan ce}+E_regular+E_smooth+E_rigid，

其中，E_{dis tan ce}為匹配點(diǎn)對(duì)的距離約束，E_regular為形態(tài)參數(shù)的正則項(xiàng)，E_smooth為姿態(tài)參數(shù)的平滑約束，E_rigid為姿態(tài)參數(shù)的剛性約束；各個(gè)能量項(xiàng)的定義如下：

E_{dis tan ce}＝∑_{(v，v′)∈C}(v-v′)²；

其中，C為三維網(wǎng)格到SMPL人體模型的匹配點(diǎn)對(duì)，v為SMPL人體模型上經(jīng)過形態(tài)變化和姿態(tài)變化的點(diǎn)，v′為三維網(wǎng)格上的對(duì)應(yīng)點(diǎn)，β_s為人體形態(tài)參數(shù)；ΔT_j為關(guān)節(jié)變換矩陣的變換量，T_j為關(guān)節(jié)變換矩陣，p(j)為關(guān)節(jié)j的父關(guān)節(jié)；

SPML人體模型進(jìn)行形態(tài)變化和姿態(tài)變化的變換公式為：

其中，為v對(duì)于關(guān)節(jié)j的變化權(quán)重，T_j為關(guān)節(jié)變換矩陣，v₀為v在標(biāo)準(zhǔn)人體模型下的坐標(biāo)，為v對(duì)于基m的變化權(quán)重。

4.如權(quán)利要求1所述的方法，其特征在于，所述步驟S33中，各個(gè)局部三維網(wǎng)格反變換至標(biāo)準(zhǔn)姿態(tài)的變換公式為：

其中，v′為三維網(wǎng)格上的點(diǎn)，T_j為關(guān)節(jié)變換矩陣，為點(diǎn)v對(duì)于關(guān)節(jié)j的變換權(quán)重。

5.如權(quán)利要求1所述的方法，其特征在于，所述步驟S33中，對(duì)初始關(guān)節(jié)變換矩陣進(jìn)行優(yōu)化的優(yōu)化公式為：

E＝arg min E_{dis tan ce}

其中，C為標(biāo)準(zhǔn)姿態(tài)下網(wǎng)格之間匹配點(diǎn)對(duì)，v₁，v₂為匹配點(diǎn)對(duì)在原始網(wǎng)格中的坐標(biāo)，v₀為匹配點(diǎn)對(duì)在標(biāo)準(zhǔn)姿態(tài)下的坐標(biāo)，T₁、T₂分別為兩個(gè)網(wǎng)格對(duì)v₀的變換矩陣。