[發(fā)明專利]人體三維模型構(gòu)建方法、裝置、機(jī)器人和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010545430.7
• 申請日: 2020-06-15
• 公開（公告）號: CN111862299A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計）人: 嵇超
• 申請（專利權(quán)）人: 上海非夕機(jī)器人科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/90;G06T7/55;G06K9/00
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 劉雪帆

1.一種人體三維模型構(gòu)建方法，其特征在于，所述方法包括：

獲取包含待構(gòu)建三維模型的對象的二維圖像和對應(yīng)的深度信息；

根據(jù)所述二維圖像，采用蒙皮多人線性模型(SMPL)得到所述對象的待校準(zhǔn)三維模型；

根據(jù)所述二維圖像和所述深度信息得到所述對象的包含深度信息的骨架模型；以及

根據(jù)所述包含深度信息的骨架模型對所述待校準(zhǔn)三維模型進(jìn)行深度校準(zhǔn)，得到目標(biāo)三維模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取包含待構(gòu)建三維模型的對象的二維圖像對應(yīng)的深度信息包括：獲取與所述二維圖像對應(yīng)的深度圖像；

所述根據(jù)所述二維圖像和所述深度信息得到所述對象的包含深度信息的骨架模型的步驟包括：

根據(jù)所述二維圖像確定所述對象的多個關(guān)鍵點的二維坐標(biāo)和置信度；

將所述置信度大于預(yù)設(shè)置信度閾值的各所述關(guān)鍵點作為有效關(guān)鍵點；

基于各所述有效關(guān)鍵點的二維坐標(biāo)和所述深度圖像，確定各所述有效關(guān)鍵點的三維坐標(biāo)；以及

根據(jù)所述有效關(guān)鍵點的所述三維坐標(biāo)得到所述對象的包含深度信息的骨架模型。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述待校準(zhǔn)的三維模型包括所述對象的未校準(zhǔn)的網(wǎng)格模型以及對應(yīng)的未校準(zhǔn)的骨架模型，所述根據(jù)所述包含深度信息的骨架模型對所述待校準(zhǔn)三維模型進(jìn)行深度校準(zhǔn)，得到目標(biāo)三維模型的步驟包括：

獲取所述未校準(zhǔn)的骨架模型中對應(yīng)所述多個有效關(guān)鍵點的多個比對關(guān)鍵點的三維坐標(biāo)；

根據(jù)所述多個有效關(guān)鍵點和所述多個比對關(guān)鍵點分別對應(yīng)的三維坐標(biāo)，確定所述未校準(zhǔn)的骨架模型與所述包含深度信息的骨架模型之間的距離；以及

以所述未校準(zhǔn)的骨架模型與所述包含深度信息的骨架模型之間的所述距離最小為目標(biāo)，校正所述未校準(zhǔn)的網(wǎng)格模型中對象的姿態(tài)參數(shù)，得到目標(biāo)三維模型。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述多個有效關(guān)鍵點和所述多個比對關(guān)鍵點分別對應(yīng)的三維坐標(biāo)，確定所述未校準(zhǔn)的骨架模型與所述包含深度信息的骨架模型之間的距離的步驟包括：

根據(jù)所述多個有效關(guān)鍵點中的至少一部分，確定多個第一向量；并確定所述多個第一向量兩兩之間的多個第一余弦距離；

根據(jù)所述多個比對關(guān)鍵點中的至少一部分，確定對應(yīng)所述多個第一向量的多個第二向量；并確定所述多個第二向量兩兩之間的多個第二余弦距離；以及

根據(jù)各所述第一余弦距離和對應(yīng)的各所述第二余弦距離之間的差值的平方和確定所述未校準(zhǔn)的骨架模型與所述包含深度信息的骨架模型之間的距離。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，還包括：

計算所述未校準(zhǔn)的骨架模型和所述包含深度信息的骨架模型之間的平移參數(shù)；以及

根據(jù)所述平移參數(shù)，將所述目標(biāo)三維模型平移至相機(jī)坐標(biāo)系下的真實深度，得到所述對象對應(yīng)包含真實深度的目標(biāo)三維模型。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，

所述計算所述未校準(zhǔn)的骨架模型和所述包含深度信息的骨架模型之間的平移參數(shù)的步驟包括：

分別確定所述未校準(zhǔn)的骨架模型的第一骨架重心和所述包含深度信息的骨架模型的第二骨架重心；以及

根據(jù)所述第一骨架重心和所述第二骨架重心得到平移向量；

所述根據(jù)所述平移參數(shù)，將所述目標(biāo)三維模型平移至相機(jī)坐標(biāo)系下的真實深度，得到所述對象對應(yīng)包含真實深度的目標(biāo)三維模型的步驟包括：

按照所述平移向量將所述目標(biāo)三維模型平移至相機(jī)坐標(biāo)系下的真實深度，得到所述對象對應(yīng)包含真實深度的目標(biāo)三維模型。