[發(fā)明專利]一種基于視覺和慣性的動(dòng)作捕捉方法、裝置及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201811303014.5
• 申請(qǐng)日: 2018-11-02
• 公開（公告）號(hào): CN109669533B
• 公開（公告）日: 2022-02-11
• 發(fā)明（設(shè)計(jì)）人: 閆東坤
• 申請(qǐng)（專利權(quán)）人: 北京盈迪曼德科技有限公司
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06T7/70;G06V40/20
• 代理公司: 北京三聚陽光知識(shí)產(chǎn)權(quán)代理有限公司 11250
• 代理人: 李博洋

本發(fā)明實(shí)施例提供了一種基于視覺和慣性的動(dòng)作捕捉方法、裝置及系統(tǒng)，該動(dòng)作捕捉方法包括：獲取被捕捉對(duì)象的圖像數(shù)據(jù)、通過視覺傳感器模組得到的視覺傳感器模組的第一運(yùn)動(dòng)數(shù)據(jù)及通過慣性測(cè)量模組得到的被捕捉對(duì)象的第二運(yùn)動(dòng)數(shù)據(jù)；根據(jù)圖像數(shù)據(jù)和第一運(yùn)動(dòng)數(shù)據(jù)得到被捕捉對(duì)象的第一位姿數(shù)據(jù)；根據(jù)第二運(yùn)動(dòng)數(shù)據(jù)得到被捕捉對(duì)象的第二位姿數(shù)據(jù)；將第一位姿數(shù)據(jù)和第二位姿數(shù)據(jù)進(jìn)行融合，得到被捕捉對(duì)象的動(dòng)作信息。本發(fā)明實(shí)施例提供的基于視覺和慣性的動(dòng)作捕捉方法、裝置及系統(tǒng)，由于結(jié)合了基于視覺的動(dòng)作捕捉和基于慣性的動(dòng)作捕捉兩方面內(nèi)容，將基于視覺的動(dòng)作捕捉和基于慣性的動(dòng)作捕捉得到的位姿數(shù)據(jù)進(jìn)行融合，提高了動(dòng)作捕捉的精度。

技術(shù)領(lǐng)域

本發(fā)明涉及動(dòng)作捕捉技術(shù)領(lǐng)域，具體涉及一種基于視覺和慣性的動(dòng)作捕捉方法、裝置及系統(tǒng)。

背景技術(shù)

慣性動(dòng)作捕捉隨著近年來微機(jī)電系統(tǒng)(MEMS)技術(shù)的成熟，迎來了高速發(fā)展，其方法為將慣性測(cè)量單元(IMU)連接到待測(cè)物體，并跟隨一起運(yùn)動(dòng)，測(cè)量待測(cè)物體的角速度信息和加速度信息，并進(jìn)一步處理得到位置信息和姿態(tài)信息，但是該方法的測(cè)量精度較低。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實(shí)施例提出了一種基于視覺和慣性的動(dòng)作捕捉方法、裝置及系統(tǒng)，用以解決現(xiàn)有動(dòng)作捕捉方法測(cè)量精度低的問題。

為實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

根據(jù)第一方面，本發(fā)明實(shí)施例提供了一種基于視覺和慣性的動(dòng)作捕捉方法，該動(dòng)作捕捉方法包括：獲取被捕捉對(duì)象的圖像數(shù)據(jù)、通過視覺傳感器模組得到的所述視覺傳感器模組的第一運(yùn)動(dòng)數(shù)據(jù)及通過慣性測(cè)量模組得到的所述被捕捉對(duì)象的第二運(yùn)動(dòng)數(shù)據(jù)；根據(jù)所述圖像數(shù)據(jù)和第一運(yùn)動(dòng)數(shù)據(jù)得到所述被捕捉對(duì)象的第一位姿數(shù)據(jù)；根據(jù)所述第二運(yùn)動(dòng)數(shù)據(jù)得到所述被捕捉對(duì)象的第二位姿數(shù)據(jù)；將所述第一位姿數(shù)據(jù)和第二位姿數(shù)據(jù)進(jìn)行融合，得到所述被捕捉對(duì)象的動(dòng)作信息。

結(jié)合第一方面，在第一方面第一實(shí)施方式中，所述視覺傳感器模組包括：攝像頭，所述方法通過所述攝像頭獲取所述圖像數(shù)據(jù)；根據(jù)所述圖像數(shù)據(jù)和第一運(yùn)動(dòng)數(shù)據(jù)得到所述被捕捉對(duì)象的第一位姿數(shù)據(jù)，包括：根據(jù)所述圖像數(shù)據(jù)和第一運(yùn)動(dòng)數(shù)據(jù)得到所述攝像頭在世界坐標(biāo)系下的第三位姿數(shù)據(jù)；根據(jù)所述圖像數(shù)據(jù)得到所述被捕捉對(duì)象在所述攝像頭坐標(biāo)系下的第四位姿數(shù)據(jù)；根據(jù)所述第三位姿數(shù)據(jù)和第四位姿數(shù)據(jù)得到所述被捕捉對(duì)象在所述世界坐標(biāo)系下的所述第一位姿數(shù)據(jù)。

結(jié)合第一方面第一實(shí)施方式，在第一方面第二實(shí)施方式中，通過即時(shí)定位與建圖算法得到所述攝像頭在世界坐標(biāo)系下的第三位姿數(shù)據(jù)。

結(jié)合第一方面第一實(shí)施方式，在第一方面第三實(shí)施方式中，通過深度學(xué)習(xí)算法得到所述被捕捉對(duì)象在所述攝像頭坐標(biāo)系下的第四位姿數(shù)據(jù)。

結(jié)合第一方面或第一方面中任意一種實(shí)施方式，在第一方面第四實(shí)施方式中，將所述第一位姿數(shù)據(jù)和第二位姿數(shù)據(jù)進(jìn)行融合，得到所述被捕捉對(duì)象的動(dòng)作信息，包括：將所述第一位姿數(shù)據(jù)和第二位姿數(shù)據(jù)進(jìn)行融合，得到所述被捕捉對(duì)象的位姿信息；根據(jù)所述位姿信息進(jìn)行動(dòng)力學(xué)解算，得到所述被捕捉對(duì)象的動(dòng)作信息。

結(jié)合第一方面第四實(shí)施方式，在第一方面第五實(shí)施方式中，通過互補(bǔ)濾波算法、最小二乘算法或卡爾曼濾波算法將所述第一位姿數(shù)據(jù)和第二位姿數(shù)據(jù)進(jìn)行融合。

根據(jù)第二方面，本發(fā)明實(shí)施例提供了一種基于視覺和慣性的動(dòng)作捕捉裝置，該動(dòng)作捕捉裝置包括：數(shù)據(jù)獲取模塊，用于獲取被捕捉對(duì)象的圖像數(shù)據(jù)、通過視覺傳感器模組得到的所述視覺傳感器模組的第一運(yùn)動(dòng)數(shù)據(jù)及通過慣性測(cè)量模組得到的所述被捕捉對(duì)象的第二運(yùn)動(dòng)數(shù)據(jù)；第一位姿確定模塊，用于根據(jù)所述圖像數(shù)據(jù)和第一運(yùn)動(dòng)數(shù)據(jù)得到所述被捕捉對(duì)象的第一位姿數(shù)據(jù)；第二位姿確定模塊，用于根據(jù)所述第二運(yùn)動(dòng)數(shù)據(jù)得到所述被捕捉對(duì)象的第二位姿數(shù)據(jù)；動(dòng)作信息確定模塊，用于將所述第一位姿數(shù)據(jù)和第二位姿數(shù)據(jù)進(jìn)行融合，得到所述被捕捉對(duì)象的動(dòng)作信息。