[發(fā)明專利]人體動作捕捉與骨骼數(shù)據(jù)映射系統(tǒng)及其方法

在審

• 申請?zhí)枺?/td>: 201810030227.9
• 申請日: 2018-01-12
• 公開（公告）號: CN108288300A
• 公開（公告）日: 2018-07-17
• 發(fā)明（設(shè)計）人: 史京迪;曹介白
• 申請（專利權(quán)）人: 北京蜜枝科技有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06K9/00
• 代理公司: 北京合智同創(chuàng)知識產(chǎn)權(quán)代理有限公司 11545
• 代理人: 李杰

本申請實(shí)施例提供了一種人體動作捕捉與骨骼數(shù)據(jù)映射系統(tǒng)及其方法，包括實(shí)時捕捉現(xiàn)實(shí)人體的動作軌跡以生成動作數(shù)據(jù)流，通過將所述動作數(shù)據(jù)流轉(zhuǎn)換為動作驅(qū)動數(shù)據(jù)流而實(shí)時驅(qū)動虛擬三維模型執(zhí)行動作，從而實(shí)時生成三維模型動畫，可克服現(xiàn)有三維模型動畫的動作實(shí)時性不佳的問題，使所生成的三維模型動畫更加生動。

技術(shù)領(lǐng)域

本申請實(shí)施例涉及人體動作識別領(lǐng)域，具體而言，涉及一種實(shí)時的人體動作捕捉與骨骼數(shù)據(jù)映射的系統(tǒng)及其方法。

背景技術(shù)

虛擬模型是三維模型在游戲引擎中的應(yīng)用體現(xiàn)，目前，在控制虛擬模型仿真執(zhí)行人體動作時，容易出現(xiàn)一些的問題包括有：動作實(shí)時性不佳，關(guān)節(jié)位置與人體常規(guī)動作不吻合以及動作突變、動作抖動等。此外，對于虛擬模型的一些細(xì)節(jié)骨骼(例如手腳部位、關(guān)節(jié)部位)的處理也不夠精細(xì)，使得所生成的三維模型動畫不夠生動。如何逼真地模擬人體動作，已成為虛擬模型的一項關(guān)鍵性技術(shù)。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實(shí)施例的主要目的在于提供一種人體動作捕捉與骨骼數(shù)據(jù)映射系統(tǒng)及其方法，以克服現(xiàn)有三維模型動畫的動作實(shí)時性不佳的問題，并可修正虛擬模型所出現(xiàn)的動作瑕疵，以使三維模型動畫更加生動。

本申請實(shí)施例提供了一種人體動作捕捉與骨骼數(shù)據(jù)映射系統(tǒng)，其特征在于，包括動作捕捉裝置與數(shù)據(jù)處理裝置，其中，動作捕捉裝置用于用于實(shí)時捕捉現(xiàn)實(shí)人體的動作軌跡以生成動作數(shù)據(jù)流；數(shù)據(jù)處理裝置包括模型數(shù)據(jù)庫，其用于儲存虛擬人體的虛擬三維模型，所述虛擬三維模型中綁定有所述虛擬人體的骨骼數(shù)據(jù)；以及動作映射模塊，其用于將所述動作數(shù)據(jù)流實(shí)時轉(zhuǎn)換為動作驅(qū)動數(shù)據(jù)流，并將所述動作驅(qū)動數(shù)據(jù)流映射至所述虛擬三維模型的所述骨骼數(shù)據(jù)上，從而實(shí)時驅(qū)動所述虛擬三維模型執(zhí)行動作，以實(shí)時生成三維模型動畫。

可選地，在本申請的任一實(shí)施例中，所述動作數(shù)據(jù)流由連續(xù)多幀的動作數(shù)據(jù)所組成，所述動作映射模塊還包括：分解單元，其用于分解所述動作數(shù)據(jù)流中的各幀所述動作數(shù)據(jù)，以及分解各幀所述動作數(shù)據(jù)中的骨骼運(yùn)動數(shù)據(jù)；轉(zhuǎn)換單元，其依據(jù)所述虛擬三維模型的數(shù)據(jù)格式轉(zhuǎn)換所述動作數(shù)據(jù)中的所述骨骼運(yùn)動數(shù)據(jù)，以生成多幀連續(xù)的所述動作驅(qū)動數(shù)據(jù)，并整合所述動作驅(qū)動數(shù)據(jù)以形成所述動作驅(qū)動數(shù)據(jù)流；以及映射單元，其用于將所述動作驅(qū)動數(shù)據(jù)流中的各所述動作驅(qū)動數(shù)據(jù)逐幀地映射至所述虛擬三維模型的所述骨骼數(shù)據(jù)上，以驅(qū)動所述虛擬三維模型執(zhí)行連續(xù)性的動作。

可選地，在本申請的任一實(shí)施例中，所述數(shù)據(jù)處理裝置還包括動作修正模塊，其通過預(yù)設(shè)算法以針對所述三維模型動畫中出現(xiàn)的所述虛擬三維模型的突變動作及抖動動作進(jìn)行修正，以及通過將預(yù)先設(shè)計的細(xì)節(jié)動作驅(qū)動數(shù)據(jù)映射至所述虛擬三維模型的所述骨骼數(shù)據(jù)上，以針對所述虛擬三維模型的細(xì)節(jié)動作進(jìn)行修正。

可選地，在本申請的任一實(shí)施例中，所述動作修正模塊還包括：突變動作修正單元，其通過預(yù)設(shè)算法以針對所述突變動作所對應(yīng)的所述動作驅(qū)動數(shù)據(jù)的前一幀與后一幀的動作驅(qū)動數(shù)據(jù)進(jìn)行平均數(shù)計算處理，并利用計算結(jié)果填充所述突變動作所對應(yīng)的所述動作驅(qū)動數(shù)據(jù)，以修正所述突變作動；抖動動作修正單元，其用于將所述抖動動作所對應(yīng)的所述動作驅(qū)動數(shù)據(jù)通過濾波處理以生成平滑的動作驅(qū)動數(shù)據(jù)，以修正所述抖動動作；以及細(xì)節(jié)動作修正單元，其用于依據(jù)使用場景而針對所述虛擬三維模型中的細(xì)節(jié)骨骼預(yù)先設(shè)計細(xì)節(jié)動作而生成所述細(xì)節(jié)動作驅(qū)動數(shù)據(jù)，以將所述細(xì)節(jié)動作驅(qū)動數(shù)據(jù)映射至所述虛擬三維模型的細(xì)節(jié)骨骼對應(yīng)的所述骨骼數(shù)據(jù)上，以驅(qū)動所述細(xì)節(jié)骨骼執(zhí)行所述細(xì)節(jié)動作。

可選地，在本申請的任一實(shí)施例中，所述細(xì)節(jié)動作是指手部動作、腳部動作以及關(guān)節(jié)動作。

可選地，在本申請的任一實(shí)施例中，所述細(xì)節(jié)動作驅(qū)動數(shù)據(jù)可直接加載于所述轉(zhuǎn)換單元所生成的所述動作驅(qū)動數(shù)據(jù)中。

可選地，在本申請的任一實(shí)施例中，所述虛擬三維模型由多個局部模型所構(gòu)成，各所述局部模型中綁定有與之對應(yīng)的所述骨骼數(shù)據(jù)，各所述局部模型分別對應(yīng)于所述虛擬人體的不同虛擬人體部位，所述映射單元還包括將所述動作數(shù)據(jù)中的所述骨骼運(yùn)動數(shù)據(jù)分別映射至各所述局部模型所對應(yīng)的所述骨骼數(shù)據(jù)上，以驅(qū)動各所述局部模型執(zhí)行相應(yīng)的作動。