[發(fā)明專(zhuān)利]一種基于攝像頭和IMU數(shù)據(jù)混合的實(shí)時(shí)全身動(dòng)捕系統(tǒng)、方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010633536.2
• 申請(qǐng)日: 2020-07-04
• 公開(kāi)（公告）號(hào): CN111783679A
• 公開(kāi)（公告）日: 2020-10-16
• 發(fā)明（設(shè)計(jì)）人: 不公告發(fā)明人
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京中科深智科技有限公司
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G01C9/00
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明公開(kāi)一種基于攝像頭和IMU數(shù)據(jù)混合的實(shí)時(shí)全身動(dòng)捕系統(tǒng)、方法，其中方法包括：采集人體的視頻幀圖像；根據(jù)視頻幀圖像的顏色信息和深度信息預(yù)測(cè)出3D骨架的關(guān)節(jié)位置；根據(jù)所預(yù)測(cè)的各人體關(guān)節(jié)在三維空間中的坐標(biāo)位置構(gòu)建出人體骨架模型；通過(guò)攝像設(shè)備實(shí)時(shí)獲取人體的運(yùn)動(dòng)姿態(tài)信息；利用捆綁在人體上的各個(gè)關(guān)節(jié)處的IMU節(jié)點(diǎn)實(shí)時(shí)獲取相應(yīng)關(guān)節(jié)的運(yùn)動(dòng)姿態(tài)；融合攝像設(shè)備和IMU節(jié)點(diǎn)獲取的關(guān)節(jié)運(yùn)動(dòng)姿態(tài)，以校正人體關(guān)節(jié)的運(yùn)動(dòng)姿態(tài)；根據(jù)校正后的關(guān)節(jié)運(yùn)動(dòng)姿態(tài)驅(qū)動(dòng)人體骨架模型運(yùn)動(dòng)。本發(fā)明集成了視覺(jué)動(dòng)捕技術(shù)和IMU慣性測(cè)量技術(shù)的優(yōu)點(diǎn)，可有效保證動(dòng)捕數(shù)據(jù)的獲取精度，確保了驅(qū)動(dòng)人體骨骼模型運(yùn)動(dòng)的可靠性和穩(wěn)定性。

技術(shù)領(lǐng)域

本發(fā)明涉及動(dòng)作仿真技術(shù)領(lǐng)域，具體涉及一種基于攝像頭和IMU數(shù)據(jù)混合的實(shí)時(shí)全身動(dòng)捕系統(tǒng)、方法。

背景技術(shù)

近些年，低功耗全身動(dòng)作捕捉在計(jì)算機(jī)視覺(jué)與自動(dòng)化等領(lǐng)域都獲得了廣泛的關(guān)注。目前應(yīng)用較為普遍的動(dòng)作捕捉方法是通過(guò)視覺(jué)傳感器實(shí)時(shí)捕捉人體運(yùn)動(dòng)姿態(tài)數(shù)據(jù)，然后根據(jù)所捕捉的人體運(yùn)動(dòng)姿態(tài)數(shù)據(jù)驅(qū)動(dòng)人體骨骼模型運(yùn)動(dòng)。該方法具有應(yīng)用成本低廉、實(shí)時(shí)性好等優(yōu)點(diǎn)，但當(dāng)出現(xiàn)人體部位遮擋時(shí)該方法無(wú)法準(zhǔn)確識(shí)別出人體運(yùn)動(dòng)姿態(tài)，導(dǎo)致驅(qū)動(dòng)人體骨骼模型運(yùn)動(dòng)中斷，所以該方法存在動(dòng)捕驅(qū)動(dòng)可靠性和穩(wěn)定性較差的缺點(diǎn)。

為了解決視覺(jué)傳感器捕捉動(dòng)捕數(shù)據(jù)可靠性和穩(wěn)定性較差的問(wèn)題，近些年提出了利用微慣性測(cè)量單元(IMU)捕捉動(dòng)捕數(shù)據(jù)并驅(qū)動(dòng)人體骨骼模型運(yùn)動(dòng)的方法，雖然IMU技術(shù)解決了視覺(jué)傳感器因視覺(jué)遮擋而無(wú)法驅(qū)動(dòng)人體骨骼模型運(yùn)動(dòng)的問(wèn)題，但I(xiàn)MU動(dòng)捕方法對(duì)高動(dòng)態(tài)的姿態(tài)運(yùn)動(dòng)響應(yīng)較差，數(shù)據(jù)采集精度會(huì)隨時(shí)間推移而下降，而且易受外界環(huán)境磁場(chǎng)影響，最致命的缺陷是誤差累積和數(shù)據(jù)漂移，無(wú)法長(zhǎng)時(shí)間使用。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于攝像頭和IMU數(shù)據(jù)混合的實(shí)時(shí)全身動(dòng)捕系統(tǒng)、方法，以解決上述技術(shù)問(wèn)題。

為達(dá)此目的，本發(fā)明采用以下技術(shù)方案：

提供一種基于攝像頭和IMU數(shù)據(jù)混合的實(shí)時(shí)全身動(dòng)捕系統(tǒng)，包括：

圖像采集模塊，用于通過(guò)攝像設(shè)備采集人體的視頻幀圖像；

骨架關(guān)節(jié)預(yù)測(cè)模塊，連接所述圖像采集模塊，用于根據(jù)所述視頻幀圖像的顏色信息和深度信息預(yù)測(cè)出3D骨架的關(guān)節(jié)位置；

人體骨架模型構(gòu)建模塊，連接所述骨架關(guān)節(jié)預(yù)測(cè)模塊，用于根據(jù)所預(yù)測(cè)的各個(gè)人體關(guān)節(jié)在三維空間中的坐標(biāo)位置構(gòu)建出人體骨架模型；

人體姿態(tài)信息獲取模塊，用于通過(guò)所述攝像設(shè)備實(shí)時(shí)獲取人體的運(yùn)動(dòng)姿態(tài)信息；

IMU關(guān)節(jié)姿態(tài)獲取模塊，用于利用捆綁在人體上的各個(gè)關(guān)節(jié)處的IMU節(jié)點(diǎn)實(shí)時(shí)獲取相應(yīng)關(guān)節(jié)的運(yùn)動(dòng)姿態(tài)；

人體姿態(tài)校正模塊，分別連接所述人體姿態(tài)信息獲取模塊和所述IMU關(guān)節(jié)姿態(tài)獲取模塊，用于融合所述攝像設(shè)備和所述IMU節(jié)點(diǎn)獲取的關(guān)節(jié)運(yùn)動(dòng)姿態(tài)，以校正人體關(guān)節(jié)的運(yùn)動(dòng)姿態(tài)；

人體模型驅(qū)動(dòng)模塊，分別連接所述人體骨架模型構(gòu)建模塊、所述人體姿態(tài)信息獲取模塊和所述人體姿態(tài)校正模塊，用于根據(jù)所述攝像設(shè)備實(shí)時(shí)獲取的關(guān)節(jié)運(yùn)動(dòng)姿態(tài)，和/或經(jīng)校正后的關(guān)節(jié)運(yùn)動(dòng)姿態(tài)驅(qū)動(dòng)所述人體骨架模型運(yùn)動(dòng)。

作為本發(fā)明的一種優(yōu)選方案，每個(gè)所述IMU節(jié)點(diǎn)中包括一用于檢測(cè)關(guān)節(jié)運(yùn)動(dòng)姿態(tài)的IMU芯片和通信連接所述IMU芯片的數(shù)據(jù)收發(fā)器，所述數(shù)據(jù)收發(fā)器將所述IMU芯片檢測(cè)到的關(guān)節(jié)運(yùn)動(dòng)姿態(tài)數(shù)據(jù)發(fā)送給sink節(jié)點(diǎn)，所述sink節(jié)點(diǎn)將每個(gè)所述IMU節(jié)點(diǎn)發(fā)送的關(guān)節(jié)運(yùn)動(dòng)姿態(tài)數(shù)據(jù)發(fā)送給智能終端，所述智能終端根據(jù)從所述sink節(jié)點(diǎn)處接收到的關(guān)節(jié)運(yùn)動(dòng)姿態(tài)數(shù)據(jù)和所述攝像設(shè)備實(shí)時(shí)獲取的關(guān)節(jié)運(yùn)動(dòng)姿態(tài)數(shù)據(jù)對(duì)人體姿態(tài)進(jìn)行實(shí)時(shí)解算，以?xún)?yōu)化所述人體骨架模型的運(yùn)動(dòng)姿態(tài)。

作為本發(fā)明的一種優(yōu)選方案，所述IMU芯片的具體型號(hào)為MPU 9150，也可以是任意一種帶有三軸加速度、三軸陀螺儀和地磁儀的芯片。