[發(fā)明專利]動作學(xué)習(xí)方法、裝置、介質(zhì)及電子設(shè)備

有效

• 申請?zhí)枺?/td>: 202011582786.4
• 申請日: 2020-12-28
• 公開（公告）號: CN112580582B
• 公開（公告）日: 2023-03-24
• 發(fā)明（設(shè)計）人: 張站朝;黃曉慶
• 申請（專利權(quán)）人: 達闥機器人股份有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V10/74;B25J9/22
• 代理公司: 北京英創(chuàng)嘉友知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11447
• 代理人: 南毅寧

1.一種動作學(xué)習(xí)方法，其特征在于，所述方法包括：

獲取人體運動圖像數(shù)據(jù)；

確定與所述人體運動圖像數(shù)據(jù)對應(yīng)的三維人體姿態(tài)動作數(shù)據(jù)，所述三維人體姿態(tài)動作數(shù)據(jù)中包括按照動作時間順序排列的多個三維人體姿態(tài)；

將所述三維人體姿態(tài)動作數(shù)據(jù)與機器人原子動作庫中的原子動作進行匹配，以確定與所述人體運動圖像數(shù)據(jù)對應(yīng)的機器人動作序列數(shù)據(jù)，所述機器人動作序列數(shù)據(jù)由多個機器人子動作組成，所述機器人子動作中包括所述原子動作和/或由所述三維人體姿態(tài)動作數(shù)據(jù)映射得到的映射動作；

對所述機器人動作序列數(shù)據(jù)中的各機器人子動作按序進行動作連續(xù)性拼接；

將進行所述動作連續(xù)性拼接后的所述機器人動作序列數(shù)據(jù)在機器人的數(shù)字孿生模型中執(zhí)行，并根據(jù)所述數(shù)字孿生模型的仿真數(shù)據(jù)對所述機器人動作序列數(shù)據(jù)進行優(yōu)化；

將根據(jù)所述數(shù)字孿生模型的仿真數(shù)據(jù)優(yōu)化后的機器人動作序列數(shù)據(jù)確定為所述機器人學(xué)習(xí)到的連續(xù)動作；

所述對所述機器人動作序列數(shù)據(jù)中的各機器人子動作按序進行動作連續(xù)性拼接包括：

對各相鄰機器人子動作之間銜接處的機器人姿態(tài)位置和機器人運動速度進行平滑優(yōu)化。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定與所述人體運動圖像數(shù)據(jù)對應(yīng)的三維人體姿態(tài)動作數(shù)據(jù)包括：

確定所述人體運動圖像數(shù)據(jù)中的各圖像分別對應(yīng)的二維人體運動關(guān)鍵點；

根據(jù)所述各圖像分別對應(yīng)的所述二維人體運動關(guān)鍵點所構(gòu)成的二維關(guān)鍵點序列數(shù)據(jù)確定所述三維人體姿態(tài)動作數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述三維人體姿態(tài)動作數(shù)據(jù)與機器人原子動作庫中的原子動作進行匹配，以確定與所述人體運動圖像數(shù)據(jù)對應(yīng)的機器人動作序列數(shù)據(jù)包括：

按照所述動作時間順序?qū)λ鋈S人體姿態(tài)動作數(shù)據(jù)中所包括的多個人體子動作依次進行匹配，并根據(jù)所述機器人原子動作庫中的所有原子動作與所述人體子動作的相似度確定與所述人體子動作相對應(yīng)的機器人子動作，其中，所述人體子動作由一個或多個所述三維人體姿態(tài)構(gòu)成；

根據(jù)所述動作時間順序確定由所述機器人子動作組成的所述機器人動作序列數(shù)據(jù)。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述機器人原子動作庫中的所有原子動作與所述人體子動作的相似度確定與所述人體子動作相對應(yīng)的機器人子動作包括：

在所述人體子動作不為所述三維人體姿態(tài)動作數(shù)據(jù)中所包括的首個人體子動作、且與所述人體子動作的相似度高于相似度閾值的所述原子動作存在兩個或多個的情況下，將與所述人體子動作的相似度高于相似度閾值的所述原子動作作為候選原子動作；

依次計算各候選原子動作與前一個人體子動作對應(yīng)的機器人子動作之間的連續(xù)性匹配度；

根據(jù)所述相似度和所述連續(xù)性匹配度，在各候選原子動作中確定與所述人體子動作相匹配的原子動作，以作為與所述人體子動作相對應(yīng)的所述機器人子動作。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述機器人原子動作庫中的所有原子動作與所述人體子動作的相似度確定與所述人體子動作相對應(yīng)的機器人子動作還包括：

在所述機器人原子動作庫中不存在與所述人體子動作的相似度高于所述相似度閾值的原子動作的情況下，根據(jù)所述人體子動作映射得到所述機器人子動作。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述機器人動作序列數(shù)據(jù)中的各機器人子動作按序進行動作連續(xù)性拼接還包括：

對各機器人子動作按序拼接得到的機器人動作序列數(shù)據(jù)中出現(xiàn)的自身碰撞異常進行規(guī)避處理。