[發明專利]動作模仿方法、裝置、計算機可讀存儲介質及機器人

在審

• 申請號: 202211615479.0
• 申請日: 2022-12-15
• 公開（公告）號: CN116079718A
• 公開（公告）日: 2023-05-09
• 發明（設計）人: 蔡詩晗;葛利剛;張志豪;付春江
• 申請（專利權）人: 深圳市優必選科技股份有限公司
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 劉永康

1.一種動作模仿方法，其特征在于，包括：

采集被模仿對象的動作圖像；

對所述動作圖像進行二維姿態估計，得到所述被模仿對象的二維姿態；

對所述二維姿態進行三維姿態估計，得到所述被模仿對象的三維姿態；

根據所述三維姿態計算機器人的世界位姿；

根據所述世界位姿控制所述機器人進行運動。

2.根據權利要求1所述的動作模仿方法，其特征在于，所述對所述動作圖像進行二維姿態估計，得到所述被模仿對象的二維姿態，包括：

使用預先訓練好的目標檢測模型對所述動作圖像進行目標檢測，得到目標圖像；

使用預先訓練好的關鍵點檢測模型對所述目標圖像進行關鍵點檢測，得到所述二維姿態。

3.根據權利要求1所述的動作模仿方法，其特征在于，所述對所述二維姿態進行三維姿態估計，得到所述被模仿對象的三維姿態，包括：

對所述二維姿態進行特征提取，得到多個初始特征；

對所述多個初始特征進行特征融合，得到第一融合特征；

根據所述第一融合特征的時域信息，生成所述三維姿態。

4.根據權利要求3所述的動作模仿方法，其特征在于，所述對所述二維姿態進行特征提取，得到多個初始特征，包括：

根據所述二維姿態中的關鍵點，生成多個假設姿態；

對所述多個假設姿態進行特征提取，得到所述多個初始特征。

5.根據權利要求3所述的動作模仿方法，其特征在于，所述根據所述第一融合特征的時域信息，生成所述三維估計姿態，包括：

獲取與所述動作圖像相鄰的前一幀圖像與后一幀圖像，得到所述前一幀圖像的第二融合特征和所述后一幀圖像的第三融合特征；

根據所述第一融合特征、所述第二融合特征和所述第三融合特征，生成所述三維姿態。

6.根據權利要求1所述的動作模仿方法，其特征在于，所述根據所述三維姿態計算機器人的世界位姿，包括：

計算所述三維姿態中的各個關節長度與關節姿態角，得到初始骨架結構；

根據所述初始骨架結構與所述機器人的連桿長度，得到所述世界位姿。

7.根據權利要求6所述的動作模仿方法，其特征在于，所述根據所述初始骨架結構與所述機器人的連桿長度，得到所述世界位姿，包括：

若所述機器人的骨架結構與所述初始骨架結構相同，則根據所述初始骨架結構與所述機器人的連桿長度，得到所述世界位姿；

若所述機器人的骨架結構與所述初始骨架結構不同，則修改所述初始骨架結構，得到修改骨架結構；

根據所述修改骨架結構與所述機器人的連桿長度，得到所述世界位姿。

8.一種動作模仿裝置，其特征在于，包括：

動作圖像采集模塊，用于采集被模仿對象的動作圖像；

二維姿態估計模塊，用于對所述動作圖像進行二維姿態估計，得到所述被模仿對象的二維姿態；

三維姿態估計模塊，用于對所述二維姿態進行三維姿態估計，得到所述被模仿對象的三維姿態

世界位姿計算模塊，用于根據所述三維姿態計算機器人的世界位姿；

運動控制模塊，用于根據所述世界位姿控制所述機器人進行運動。

9.一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至7中任一項所述的動作模仿方法的步驟。

10.一種機器人，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現如權利要求1至7中任一項所述的動作模仿方法的步驟。