[發(fā)明專利]動作學(xué)習(xí)方法、裝置、存儲介質(zhì)及電子設(shè)備

有效

• 申請?zhí)枺?/td>: 202011552528.1
• 申請日: 2020-12-24
• 公開（公告）號: CN112847336B
• 公開（公告）日: 2023-08-22
• 發(fā)明（設(shè)計）人: 張站朝;黃曉慶
• 申請（專利權(quán)）人: 達(dá)闥機(jī)器人股份有限公司
• 主分類號: B25J9/16
• 分類號: B25J9/16;G06F30/27;G06V40/20;G06V20/10;G06V10/30;G06N3/08
• 代理公司: 北京英創(chuàng)嘉友知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11447
• 代理人: 南毅寧

本公開涉及一種動作學(xué)習(xí)方法、裝置、存儲介質(zhì)及電子設(shè)備，包括：獲取目標(biāo)對象的人體動作圖像數(shù)據(jù)；確定與人體動作圖像數(shù)據(jù)對應(yīng)的機(jī)器人的關(guān)節(jié)運(yùn)動數(shù)據(jù)；通過機(jī)器人的數(shù)字孿生模型的仿真數(shù)據(jù)判斷關(guān)節(jié)運(yùn)動數(shù)據(jù)是否符合與機(jī)器人對應(yīng)的原子動作約束條件；在判定關(guān)節(jié)運(yùn)動數(shù)據(jù)符合與機(jī)器人對應(yīng)的原子動作約束條件的情況下，將關(guān)節(jié)運(yùn)動數(shù)據(jù)確定為機(jī)器人的原子動作。通過上述技術(shù)方案，能夠?qū)⒁唤M人體動作轉(zhuǎn)換為多個不同機(jī)器人的原子動作，并且對人體動作的學(xué)習(xí)均基于數(shù)字化的、虛擬的機(jī)器人數(shù)字孿生模型完成，不需要實(shí)體機(jī)器人，可大幅降低生成機(jī)器人動作的成本。

技術(shù)領(lǐng)域

本公開涉及機(jī)器人領(lǐng)域，具體地，涉及一種動作學(xué)習(xí)方法、裝置、存儲介質(zhì)及電子設(shè)備。

背景技術(shù)

機(jī)器人每個動作都是的多個關(guān)節(jié)組合運(yùn)動的過程。機(jī)器人學(xué)習(xí)人類動作的方法通常都是先通過人體可穿戴設(shè)備來先捕捉人體運(yùn)動姿態(tài)。然后根據(jù)人體運(yùn)動姿態(tài)控制實(shí)體機(jī)器人進(jìn)行動作的學(xué)習(xí)。實(shí)體機(jī)器人動作學(xué)習(xí)的成本較高，并且相同動作在不同機(jī)器人身上需要反復(fù)學(xué)習(xí)。并且動作捕捉常見的方式是在運(yùn)動物體的關(guān)鍵部位設(shè)置跟蹤器，例如慣性測量單元(IMU)。慣性動捕各個傳感器處的三維位置和方向信息可實(shí)時地記錄并顯示(存在少許延遲)，小范圍使用費(fèi)用相對合理。但缺陷也是很明顯的，其每次使用需要消磁，且其往往受限于磁場的范圍和精度，空間定位不準(zhǔn)，且出于設(shè)備原因，動作局限也比較多然。而且一個人就是一套裝備，多人的話成本成倍增加。

發(fā)明內(nèi)容

本公開的目的是提供一種動作學(xué)習(xí)方法、裝置、存儲介質(zhì)及電子設(shè)備，能夠?qū)⒁唤M人體動作轉(zhuǎn)換為多個不同機(jī)器人的原子動作，并且對人體動作的學(xué)習(xí)均基于數(shù)字化的、虛擬的機(jī)器人數(shù)字孿生體模型完成，不需要實(shí)體機(jī)器人，可大幅降低生成機(jī)器人動作的成本。

為了實(shí)現(xiàn)上述目的，本公開提供一種動作學(xué)習(xí)方法，所述方法包括：

獲取目標(biāo)對象的人體動作圖像數(shù)據(jù)；

確定與所述人體動作圖像數(shù)據(jù)對應(yīng)的機(jī)器人的關(guān)節(jié)運(yùn)動數(shù)據(jù)；

通過所述機(jī)器人的數(shù)字孿生模型的仿真數(shù)據(jù)判斷所述關(guān)節(jié)運(yùn)動數(shù)據(jù)是否符合與所述機(jī)器人對應(yīng)的原子動作約束條件；

在判定所述關(guān)節(jié)運(yùn)動數(shù)據(jù)符合與所述機(jī)器人對應(yīng)的所述原子動作約束條件的情況下，將所述關(guān)節(jié)運(yùn)動數(shù)據(jù)確定為所述機(jī)器人的原子動作。

可選地，所述確定與所述人體動作圖像數(shù)據(jù)對應(yīng)的機(jī)器人的關(guān)節(jié)運(yùn)動數(shù)據(jù)包括：

對所述人體動作圖像數(shù)據(jù)進(jìn)行去噪處理；

根據(jù)所述去噪處理后的所述人體動作圖像數(shù)據(jù)確定對應(yīng)的三維姿態(tài)運(yùn)動數(shù)據(jù)，所述三維姿態(tài)運(yùn)動數(shù)據(jù)中包括與所述目標(biāo)對象對應(yīng)的各三維關(guān)鍵點(diǎn)的運(yùn)動數(shù)據(jù)，所述三維關(guān)鍵點(diǎn)用于構(gòu)建所述目標(biāo)對象的三維姿態(tài)；

根據(jù)所述三維姿態(tài)運(yùn)動數(shù)據(jù)映射得到所述機(jī)器人的所述關(guān)節(jié)運(yùn)動數(shù)據(jù)。

可選地，所述通過所述機(jī)器人的數(shù)字孿生模型的仿真數(shù)據(jù)判斷所述關(guān)節(jié)運(yùn)動數(shù)據(jù)是否符合與所述機(jī)器人對應(yīng)的原子動作約束條件包括：

基于所述數(shù)字孿生模型的仿真數(shù)據(jù)判斷所述關(guān)節(jié)運(yùn)動數(shù)據(jù)是否滿足運(yùn)動合規(guī)條件，所述運(yùn)動合規(guī)條件包括所述關(guān)節(jié)運(yùn)動數(shù)據(jù)對應(yīng)的動作為所述原子動作、所述關(guān)節(jié)運(yùn)動數(shù)據(jù)中不存在關(guān)節(jié)運(yùn)動超過所述關(guān)節(jié)的物理限位、所述數(shù)字孿生模型在執(zhí)行所述關(guān)節(jié)運(yùn)動數(shù)據(jù)時未出現(xiàn)碰撞和失衡現(xiàn)象；

在所述關(guān)節(jié)運(yùn)動數(shù)據(jù)不滿足所述運(yùn)動合規(guī)條件中的任一條時，判定所述關(guān)節(jié)運(yùn)動數(shù)據(jù)不符合與所述機(jī)器人對應(yīng)的原子動作約束條件。

可選地，所述通過所述機(jī)器人的數(shù)字孿生模型的仿真數(shù)據(jù)判斷所述關(guān)節(jié)運(yùn)動數(shù)據(jù)是否符合與所述機(jī)器人對應(yīng)的原子動作約束條件還包括：

在所述關(guān)節(jié)運(yùn)動數(shù)據(jù)滿足所有所述運(yùn)動合規(guī)條件時，基于所述數(shù)字孿生模型的仿真數(shù)據(jù)判斷所述關(guān)節(jié)運(yùn)動數(shù)據(jù)是否滿足運(yùn)動優(yōu)化條件，所述運(yùn)動優(yōu)化條件包括所述關(guān)節(jié)運(yùn)動數(shù)據(jù)符合機(jī)器人運(yùn)動學(xué)規(guī)律和所述關(guān)節(jié)運(yùn)動數(shù)據(jù)對應(yīng)的動作流暢平滑；