[發(fā)明專利]動作模仿方法、裝置、計算機可讀存儲介質(zhì)及機器人

在審

• 申請?zhí)枺?/td>: 202211615479.0
• 申請日: 2022-12-15
• 公開（公告）號: CN116079718A
• 公開（公告）日: 2023-05-09
• 發(fā)明（設(shè)計）人: 蔡詩晗;葛利剛;張志豪;付春江
• 申請（專利權(quán)）人: 深圳市優(yōu)必選科技股份有限公司
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 深圳中一聯(lián)合知識產(chǎn)權(quán)代理有限公司 44414
• 代理人: 劉永康

本申請屬于機器人技術(shù)領(lǐng)域，尤其涉及一種動作模仿方法、裝置、計算機可讀存儲介質(zhì)及機器人。所述方法包括：采集被模仿對象的動作圖像；對所述動作圖像進行二維姿態(tài)估計，得到所述被模仿對象的二維姿態(tài)；對所述二維姿態(tài)進行三維姿態(tài)估計，得到所述被模仿對象的三維姿態(tài)；根據(jù)所述三維姿態(tài)計算機器人的世界位姿；根據(jù)所述世界位姿控制所述機器人進行運動。通過上述方法，可以首先對動作圖像進行二維姿態(tài)估計，再根據(jù)二維姿態(tài)估計結(jié)果進行三維姿態(tài)估計，使姿態(tài)估計結(jié)果更平滑穩(wěn)定，減少機器人動作的邏輯錯誤，具有較強的易用性與實用性。

技術(shù)領(lǐng)域

本申請屬于機器人技術(shù)領(lǐng)域，尤其涉及一種動作模仿方法、裝置、計算機可讀存儲介質(zhì)及機器人。

背景技術(shù)

目前，人形機器人已經(jīng)可以在一定程度上仿照人類的運動方式進行運動。然而，人形機器人在對人類動作的模仿過程中，容易受到多種因素影響，例如目標(biāo)圖像背景色彩復(fù)雜、動作圖像模糊或者目標(biāo)人物被遮擋等，從而導(dǎo)致姿態(tài)估計結(jié)果存在跳變，造成機器人的動作出現(xiàn)邏輯錯誤。

發(fā)明內(nèi)容

有鑒于此，本申請實施例提供了一種動作模仿方法、裝置、計算機可讀存儲介質(zhì)及機器人，以解決現(xiàn)有技術(shù)中姿態(tài)估計結(jié)果存在跳變，造成機器人的動作出現(xiàn)邏輯錯誤的問題。

本申請實施例的第一方面提供了一種動作模仿方法，可以包括：

采集被模仿對象的動作圖像；

對所述動作圖像進行二維姿態(tài)估計，得到所述被模仿對象的二維姿態(tài)；

對所述二維姿態(tài)進行三維姿態(tài)估計，得到所述被模仿對象的三維姿態(tài)；

根據(jù)所述三維姿態(tài)計算機器人的世界位姿；

根據(jù)所述世界位姿控制所述機器人進行運動。

在第一方面的一種具體實現(xiàn)方式中，所述對所述動作圖像進行二維姿態(tài)估計，得到所述被模仿對象的二維姿態(tài)，可以包括：

使用預(yù)先訓(xùn)練好的目標(biāo)檢測模型對所述動作圖像進行目標(biāo)檢測，得到目標(biāo)圖像；

使用預(yù)先訓(xùn)練好的關(guān)鍵點檢測模型對所述目標(biāo)圖像進行關(guān)鍵點檢測，得到所述二維姿態(tài)。

在第一方面的一種具體實現(xiàn)方式中，所述對所述二維姿態(tài)進行三維姿態(tài)估計，得到所述被模仿對象的三維姿態(tài)，可以包括：

對所述二維姿態(tài)進行特征提取，得到多個初始特征；

對所述多個初始特征進行特征融合，得到第一融合特征；

根據(jù)所述第一融合特征的時域信息，生成所述三維姿態(tài)。

在第一方面的一種具體實現(xiàn)方式中，所述對所述二維姿態(tài)進行特征提取，得到多個初始特征，可以包括：

根據(jù)所述二維姿態(tài)中的關(guān)鍵點，生成多個假設(shè)姿態(tài)；

對所述多個假設(shè)姿態(tài)進行特征提取，得到所述多個初始特征。

在第一方面的一種具體實現(xiàn)方式中，所述根據(jù)所述第一融合特征的時域信息，生成所述三維估計姿態(tài)，可以包括：

獲取與所述動作圖像相鄰的前一幀圖像與后一幀圖像，得到所述前一幀圖像的第二融合特征和所述后一幀圖像的第三融合特征；

根據(jù)所述第一融合特征、所述第二融合特征和所述第三融合特征，生成所述三維姿態(tài)。

在第一方面的一種具體實現(xiàn)方式中，所述根據(jù)所述三維姿態(tài)計算機器人的世界位姿，可以包括：

計算所述三維姿態(tài)中的各個關(guān)節(jié)長度與關(guān)節(jié)姿態(tài)角，得到初始骨架結(jié)構(gòu)；

根據(jù)所述初始骨架結(jié)構(gòu)與所述機器人的連桿長度，得到所述世界位姿。