[發(fā)明專利]一種基于視覺和慣性的動作捕捉方法、裝置及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201811303014.5
• 申請日: 2018-11-02
• 公開（公告）號: CN109669533B
• 公開（公告）日: 2022-02-11
• 發(fā)明（設(shè)計）人: 閆東坤
• 申請（專利權(quán)）人: 北京盈迪曼德科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06T7/70;G06V40/20
• 代理公司: 北京三聚陽光知識產(chǎn)權(quán)代理有限公司 11250
• 代理人: 李博洋

1.一種基于視覺和慣性的動作捕捉方法，其特征在于，包括：

獲取被捕捉對象的圖像數(shù)據(jù)、通過視覺傳感器模組得到的所述視覺傳感器模組的第一運動數(shù)據(jù)及通過慣性測量模組得到的所述被捕捉對象的第二運動數(shù)據(jù)；

根據(jù)所述圖像數(shù)據(jù)和第一運動數(shù)據(jù)得到所述被捕捉對象的第一位姿數(shù)據(jù)；

根據(jù)所述第二運動數(shù)據(jù)得到所述被捕捉對象的第二位姿數(shù)據(jù)；

將所述第一位姿數(shù)據(jù)和第二位姿數(shù)據(jù)進行融合，得到所述被捕捉對象的動作信息，所述動作信息是根據(jù)所述被捕捉對象的骨骼結(jié)構(gòu)確定的，所述骨骼結(jié)構(gòu)是根據(jù)所述第一位姿數(shù)據(jù)和第二位姿數(shù)據(jù)確定的位姿信息進行動力學解算得到的；

所述視覺傳感器模組包括：攝像頭，所述方法通過所述攝像頭獲取所述圖像數(shù)據(jù)；

根據(jù)所述圖像數(shù)據(jù)和第一運動數(shù)據(jù)得到所述被捕捉對象的第一位姿數(shù)據(jù)，包括：

根據(jù)所述圖像數(shù)據(jù)和第一運動數(shù)據(jù)得到所述攝像頭在世界坐標系下的第三位姿數(shù)據(jù)；

根據(jù)所述圖像數(shù)據(jù)得到所述被捕捉對象在所述攝像頭坐標系下的第四位姿數(shù)據(jù)；

根據(jù)所述第三位姿數(shù)據(jù)和第四位姿數(shù)據(jù)得到所述被捕捉對象在所述世界坐標系下的所述第一位姿數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的動作捕捉方法，其特征在于，通過即時定位與建圖算法得到所述攝像頭在世界坐標系下的第三位姿數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的動作捕捉方法，其特征在于，通過深度學習算法得到所述被捕捉對象在所述攝像頭坐標系下的第四位姿數(shù)據(jù)。

4.根據(jù)權(quán)利要求1所述的動作捕捉方法，其特征在于，通過互補濾波算法、最小二乘算法或卡爾曼濾波算法將所述第一位姿數(shù)據(jù)和第二位姿數(shù)據(jù)進行融合。

5.一種基于視覺和慣性的動作捕捉裝置，其特征在于，包括：

數(shù)據(jù)獲取模塊，用于獲取被捕捉對象的圖像數(shù)據(jù)、通過視覺傳感器模組得到的所述視覺傳感器模組的第一運動數(shù)據(jù)及通過慣性測量模組得到的所述被捕捉對象的第二運動數(shù)據(jù)；

第一位姿確定模塊，用于根據(jù)所述圖像數(shù)據(jù)和第一運動數(shù)據(jù)得到所述被捕捉對象的第一位姿數(shù)據(jù)；

第二位姿確定模塊，用于根據(jù)所述第二運動數(shù)據(jù)得到所述被捕捉對象的第二位姿數(shù)據(jù)；

動作信息確定模塊，用于將所述第一位姿數(shù)據(jù)和第二位姿數(shù)據(jù)進行融合，得到所述被捕捉對象的動作信息，所述動作信息是根據(jù)所述被捕捉對象的骨骼結(jié)構(gòu)確定的，所述骨骼結(jié)構(gòu)是根據(jù)所述第一位姿數(shù)據(jù)和第二位姿數(shù)據(jù)確定的位姿信息進行動力學解算得到的；

所述視覺傳感器模組包括：攝像頭，通過所述攝像頭獲取所述圖像數(shù)據(jù)；

所述第一位姿確定模塊，具體用于根據(jù)所述圖像數(shù)據(jù)和第一運動數(shù)據(jù)得到所述攝像頭在世界坐標系下的第三位姿數(shù)據(jù)；根據(jù)所述圖像數(shù)據(jù)得到所述被捕捉對象在所述攝像頭坐標系下的第四位姿數(shù)據(jù)；根據(jù)所述第三位姿數(shù)據(jù)和第四位姿數(shù)據(jù)得到所述被捕捉對象在所述世界坐標系下的所述第一位姿數(shù)據(jù)。

6.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)存儲有計算機指令，所述計算機指令用于使所述計算機執(zhí)行如權(quán)利要求1-4任一項所述的動作捕捉方法。

7.一種基于視覺和慣性的動作捕捉設(shè)備，其特征在于，包括：存儲器和處理器，所述存儲器和所述處理器之間互相通信連接，所述存儲器中存儲有計算機指令，所述處理器通過執(zhí)行所述計算機指令，從而執(zhí)行如權(quán)利要求1-4任一項所述的動作捕捉方法。

8.一種基于視覺和慣性的動作捕捉系統(tǒng)，其特征在于，包括：視覺傳感器模組、慣性測量模組和上位機，所述視覺傳感器模組包括：攝像頭和慣性測量單元；

所述攝像頭獲取被捕捉對象的圖像數(shù)據(jù)，并將所述圖像數(shù)據(jù)發(fā)送至所述上位機；

所述慣性測量單元獲取所述視覺傳感器模組的第一運動數(shù)據(jù)，并將所述第一運動數(shù)據(jù)發(fā)送至所述上位機；

所述慣性測量模組獲取所述被捕捉對象的第二運動數(shù)據(jù)，并將所述第二運動數(shù)據(jù)發(fā)送至所述上位機；

所述上位機接收圖像數(shù)據(jù)、第一運動數(shù)據(jù)和第二運動數(shù)據(jù)，根據(jù)所述圖像數(shù)據(jù)和第一運動數(shù)據(jù)得到所述被捕捉對象的第一位姿數(shù)據(jù)，根據(jù)所述第二運動數(shù)據(jù)得到所述被捕捉對象的第二位姿數(shù)據(jù)，將所述第一位姿數(shù)據(jù)和第二位姿數(shù)據(jù)進行融合，得到所述被捕捉對象的動作信息，所述動作信息是根據(jù)所述被捕捉對象的骨骼結(jié)構(gòu)確定的，所述骨骼結(jié)構(gòu)是根據(jù)所述第一位姿數(shù)據(jù)和第二位姿數(shù)據(jù)確定的位姿信息進行動力學解算得到的；

其中，所述上位機根據(jù)所述圖像數(shù)據(jù)和第一運動數(shù)據(jù)得到所述攝像頭在世界坐標系下的第三位姿數(shù)據(jù)，根據(jù)所述圖像數(shù)據(jù)得到所述被捕捉對象在所述攝像頭坐標系下的第四位姿數(shù)據(jù)，根據(jù)所述第三位姿數(shù)據(jù)和第四位姿數(shù)據(jù)得到所述被捕捉對象在所述世界坐標系下的所述第一位姿數(shù)據(jù)。