[發(fā)明專利]基于先驗(yàn)?zāi)Ｐ偷膶?shí)時(shí)人體三維重建方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110363641.3
• 申請(qǐng)日: 2021-04-02
• 公開（公告）號(hào): CN113112586B
• 公開（公告）日: 2023-02-28
• 發(fā)明（設(shè)計(jì)）人: 許威威;王龍;段子恒;鮑虎軍
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): G06T17/00
• 分類號(hào): G06T17/00;G06T7/593;G06T7/246;G06T5/50;G06T5/30;G06T5/20;G06T5/00
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 劉靜

本發(fā)明公開了一種基于先驗(yàn)?zāi)Ｐ偷膶?shí)時(shí)人體三維重建方法，實(shí)現(xiàn)了基于雙層人體結(jié)構(gòu)的人體實(shí)時(shí)跟蹤、融合、重建方法，可以通過單目深度攝像頭捕獲的數(shù)據(jù)，快速匹配人體的非剛體運(yùn)動(dòng)，同時(shí)刻畫出外層表面如衣服、背包等物體的細(xì)節(jié)信息。本發(fā)明主要包括兩個(gè)步驟：1)基于先驗(yàn)人體模型進(jìn)行快速匹配人體動(dòng)作，帶動(dòng)外層融合重建表面進(jìn)行初始變換；2)基于雙層結(jié)構(gòu)進(jìn)行聯(lián)合跟蹤，使外層融合重建表面在細(xì)節(jié)上匹配到當(dāng)前深度。此外，本發(fā)明結(jié)合先驗(yàn)人體模型的語(yǔ)義信息，提出了動(dòng)態(tài)閾值匹配與動(dòng)態(tài)權(quán)重計(jì)算策略，還解決了傳統(tǒng)方案中存在的體素碰撞問題，進(jìn)一步提高了跟蹤質(zhì)量，能夠處理手交叉等高難度情況。

技術(shù)領(lǐng)域

本發(fā)明涉及三維重建技術(shù)領(lǐng)域，尤其涉及一種基于先驗(yàn)?zāi)Ｐ偷膶?shí)時(shí)人體三維重建方法。

背景技術(shù)

最近十年的計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)領(lǐng)域的研究中，人體運(yùn)動(dòng)跟蹤及其重建已經(jīng)成為了一項(xiàng)具有挑戰(zhàn)性的研究課題。之前的研究中，有很多系統(tǒng)利用多個(gè)彩色攝像機(jī)和深度攝像機(jī)，來獲取多視角的數(shù)據(jù)進(jìn)行人體的運(yùn)動(dòng)跟蹤和重建，雖然能夠得到高質(zhì)量的重建效果，但是多個(gè)拍攝設(shè)配增加了成本，以及多種設(shè)備之間的同步問題使得整個(gè)拍攝系統(tǒng)更加復(fù)雜，最后導(dǎo)致整個(gè)系統(tǒng)難以調(diào)控，對(duì)于普通科研工作者及其用戶來說具有一定的局限性。

深度相機(jī)的出現(xiàn)，使得三維重建在游戲、虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)、數(shù)字娛樂等領(lǐng)域的應(yīng)用越來越成熟。深度相機(jī)獲取幾何數(shù)據(jù)可達(dá)到30幀每秒，在動(dòng)態(tài)物體，例如人體的三維重建上具有優(yōu)勢(shì)。更多的研究?jī)A向于使用深度相機(jī)來進(jìn)行跟蹤和重建人體。然而，由于深度相機(jī)獲取的深度圖噪聲較大，使得動(dòng)態(tài)數(shù)據(jù)注冊(cè)困難。

動(dòng)態(tài)融合(DynamicFusion)結(jié)合了非剛體表面運(yùn)動(dòng)的跟蹤和基于體素融合方法來重建恢復(fù)所拍攝到的人或者物體，它能夠通過單個(gè)深度攝像頭實(shí)時(shí)的進(jìn)行跟蹤重建而不需要預(yù)先掃描和使用任何模板，同時(shí)這樣的系統(tǒng)成本低且易于部署。后續(xù)的許多工作都是延續(xù)了這樣的思路，雖然不同程度的提升了跟蹤重建的質(zhì)量，但是還是難以應(yīng)對(duì)快速的運(yùn)動(dòng)。另外，類似的系統(tǒng)還存在其他的挑戰(zhàn)：?jiǎn)蝹€(gè)攝像頭帶來的遮擋；如何達(dá)到實(shí)時(shí)跟蹤重建；重建中物體是否能夠閉環(huán)；不使用預(yù)先掃描的模板等。

發(fā)明內(nèi)容

本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的不足，提供一種基于先驗(yàn)?zāi)Ｐ偷膶?shí)時(shí)人體三維重建方法，該方法以雙層人體結(jié)構(gòu)為基礎(chǔ)，以單目深度相機(jī)為輸入跟蹤重建目標(biāo)人物，不僅能夠捕獲快速的人體運(yùn)動(dòng)同時(shí)恢復(fù)表面的細(xì)節(jié)，從而用于游戲、虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)、數(shù)字娛樂等領(lǐng)域，給用戶帶來更加真實(shí)的體驗(yàn)。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：一種基于先驗(yàn)?zāi)Ｐ偷膶?shí)時(shí)人體三維重建方法，該方法包括以下步驟：

S1：通過單目深度相機(jī)采集第一幀深度數(shù)據(jù)；

S2：初始化先驗(yàn)人體模型，通過先驗(yàn)人體模型跟蹤對(duì)齊第一幀深度數(shù)據(jù)；

S3：建立雙層人體結(jié)構(gòu)，包括雙層表面和雙層節(jié)點(diǎn)；

S4：接收下一幀深度數(shù)據(jù)，在雙層人體結(jié)構(gòu)與深度數(shù)據(jù)之間尋找對(duì)應(yīng)點(diǎn)對(duì)；

S5：根據(jù)對(duì)應(yīng)點(diǎn)對(duì)的匹配結(jié)果，動(dòng)態(tài)調(diào)整目標(biāo)函數(shù)權(quán)重，進(jìn)行基于雙層人體結(jié)構(gòu)的跟蹤；

S6：通過體素碰撞檢測(cè)結(jié)果，有選擇的融合深度數(shù)據(jù)并恢復(fù)重建表面細(xì)節(jié)。

進(jìn)一步地，所述S1中，第一幀深度數(shù)據(jù)盡量使得人體以某個(gè)固定姿勢(shì)朝向深度相機(jī)；對(duì)第一幀深度數(shù)據(jù)進(jìn)行預(yù)處理，包括雙邊濾波、膨脹腐蝕、異常點(diǎn)檢測(cè)、通過包圍盒選定有效區(qū)域。

進(jìn)一步地，所述S2包括以下子步驟：

S21：根據(jù)先驗(yàn)人體模型上頂點(diǎn)與關(guān)節(jié)的關(guān)系，將模型劃分為不同部位；

S22：根據(jù)各部位的語(yǔ)義信息，設(shè)置該部位用于尋找對(duì)應(yīng)點(diǎn)對(duì)的距離和角度閾值的初始值；