[發(fā)明專利]一種基于攝像頭和IMU數(shù)據(jù)混合的實時全身動捕系統(tǒng)、方法

在審

• 申請?zhí)枺?/td>: 202010633536.2
• 申請日: 2020-07-04
• 公開（公告）號: CN111783679A
• 公開（公告）日: 2020-10-16
• 發(fā)明（設(shè)計）人: 不公告發(fā)明人
• 申請（專利權(quán)）人: 北京中科深智科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G01C9/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于攝像頭和IMU數(shù)據(jù)混合的實時全身動捕系統(tǒng)，其特征在于，包括：

圖像采集模塊，用于通過攝像設(shè)備采集人體的視頻幀圖像；

骨架關(guān)節(jié)預(yù)測模塊，連接所述圖像采集模塊，用于根據(jù)所述視頻幀圖像的顏色信息和深度信息預(yù)測出3D骨架的關(guān)節(jié)位置；

人體骨架模型構(gòu)建模塊，連接所述骨架關(guān)節(jié)預(yù)測模塊，用于根據(jù)所預(yù)測的各個人體關(guān)節(jié)在三維空間中的坐標(biāo)位置構(gòu)建出人體骨架模型；

人體姿態(tài)信息獲取模塊，用于通過所述攝像設(shè)備實時獲取人體的運動姿態(tài)信息；

IMU關(guān)節(jié)姿態(tài)獲取模塊，用于利用捆綁在人體上的各個關(guān)節(jié)處的IMU節(jié)點實時獲取相應(yīng)關(guān)節(jié)的運動姿態(tài)；

人體姿態(tài)校正模塊，分別連接所述人體姿態(tài)信息獲取模塊和所述IMU關(guān)節(jié)姿態(tài)獲取模塊，用于融合所述攝像設(shè)備和所述IMU節(jié)點獲取的關(guān)節(jié)運動姿態(tài)，以校正人體關(guān)節(jié)的運動姿態(tài)；

人體模型驅(qū)動模塊，分別連接所述人體骨架模型構(gòu)建模塊、所述人體姿態(tài)信息獲取模塊和所述人體姿態(tài)校正模塊，用于根據(jù)所述攝像設(shè)備實時獲取的關(guān)節(jié)運動姿態(tài)，和/或經(jīng)校正后的關(guān)節(jié)運動姿態(tài)驅(qū)動所述人體骨架模型運動。

2.根據(jù)權(quán)利要求1所述的一種基于攝像頭和IMU數(shù)據(jù)混合的實時全身動捕系統(tǒng)，其特征在于，每個所述IMU節(jié)點中包括一用于檢測關(guān)節(jié)運動姿態(tài)的IMU芯片和通信連接所述IMU芯片的數(shù)據(jù)收發(fā)器，所述數(shù)據(jù)收發(fā)器將所述IMU芯片檢測到的關(guān)節(jié)運動姿態(tài)數(shù)據(jù)發(fā)送給sink節(jié)點，所述sink節(jié)點將每個所述IMU節(jié)點發(fā)送的關(guān)節(jié)運動姿態(tài)數(shù)據(jù)發(fā)送給智能終端，所述智能終端根據(jù)從所述sink節(jié)點處接收到的關(guān)節(jié)運動姿態(tài)數(shù)據(jù)和所述攝像設(shè)備實時獲取的關(guān)節(jié)運動姿態(tài)數(shù)據(jù)對人體姿態(tài)進(jìn)行實時解算，以優(yōu)化所述人體骨架模型的運動姿態(tài)。

3.根據(jù)權(quán)利要求2所述的一種基于攝像頭和IMU數(shù)據(jù)混合的實時全身動捕系統(tǒng)，其特征在于，所述IMU芯片是MPU 9150，也可以是任意一種帶有三軸加速度、三軸陀螺儀和地磁儀的芯片。

4.根據(jù)權(quán)利要求2所述的一種基于攝像頭和IMU數(shù)據(jù)混合的實時全身動捕系統(tǒng)，其特征在于，所述數(shù)據(jù)收發(fā)器為CC2530型微處理器，也可以是任意一種同樣性能的MCU。

5.根據(jù)權(quán)利要求2所述的一種基于攝像頭和IMU數(shù)據(jù)混合的實時全身動捕系統(tǒng)，其特征在于，通過下式估計所述IMU節(jié)點在當(dāng)前采樣時刻采集到的關(guān)節(jié)運動姿態(tài)：

上式中，q_est,t-1表示所述IMU節(jié)點在上一次采樣時刻采集到的關(guān)節(jié)運動姿態(tài)；

q_est,t表示所述IMU節(jié)點在當(dāng)前采樣時刻采集的關(guān)節(jié)運動姿態(tài)；

t為所述IMU節(jié)點的采樣時間間隔；

表示所述IMU節(jié)點利用陀螺儀角速度數(shù)據(jù)實現(xiàn)對關(guān)節(jié)運動姿態(tài)的更新；

表示經(jīng)由加速度計和地磁傳感器數(shù)據(jù)計算出的姿態(tài)梯度；

f_g,m(g,a,m)表示經(jīng)由所述加速度計和所述地磁傳感器估計出的關(guān)節(jié)運動姿態(tài)；

μ_t為t時刻重力場與地磁場對關(guān)節(jié)運動姿態(tài)的影響程度。

6.根據(jù)權(quán)利要求5所述的實時全身動捕系統(tǒng)，其特征在于，通過下式(2)計算而得：

上式(2)中，[q₀ q₁ q₂ q₃]為由四元數(shù)表示的所述IMU節(jié)點在上一采樣時刻利用陀螺儀采集到的關(guān)節(jié)運動姿態(tài)；

[ω_x ω_y ω_z]分別表示當(dāng)前采樣時刻IMU節(jié)點上沿陀螺儀三個軸向的角速度。

表示當(dāng)前采樣時刻所述IMU節(jié)點利用陀螺儀角速度數(shù)據(jù)估計出的關(guān)節(jié)運動姿態(tài)。