[發明專利]機械臂位姿預測方法、裝置、存儲介質及電子設備

在審

• 申請號: 202010851380.5
• 申請日: 2020-08-21
• 公開（公告）號: CN112070835A
• 公開（公告）日: 2020-12-11
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 達闥機器人有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06N3/04;G06N3/08
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 王曉霞

1.一種機械臂位姿預測方法，其特征在于，所述位姿包括機械臂的每個關節點的三維坐標和與每個所述關節點對應的旋轉角度，所述方法包括：

獲取所述機械臂的三基色圖像和所述機械臂對應的三維點云；

提取所述三基色圖像中每個像素點的高維特征，以及所述三維點云中每個三維點的高維特征；

將每個所述像素點的高維特征和與該像素點對應的三維點的高維特征進行融合，得到與每個所述三維點分別對應的融合特征；

將每個所述三維點的融合特征輸入訓練好的位姿預測模型，得到所述位姿預測模型輸出的所述機械臂的每個關節點相對于每個所述三維點的偏移量；

根據每個所述關節點相對于每個所述三維點的偏移量，得到與每個所述關節點分別對應的三維坐標；

針對每個所述關節點，根據該關節點的三維坐標和與該關節點相連的下一關節點的三維坐標，以及與該關節點對應的自由度，得到與該關節點對應的旋轉角度。

2.根據權利要求1所述的方法，其特征在于，根據每個所述關節點相對于每個所述三維點的偏移量，得到與每個所述關節點分別對應的三維坐標包括：

根據每個所述關節點相對于每個所述三維點的偏移量，得到K簇預測三維點云，其中，K表征所述機械臂的關節個數；

對每簇所述預測三維點云進行聚合處理，得到與每簇所述預測三維點云對應的關節點的三維坐標。

3.根據權利要求2所述的方法，其特征在于，對每簇所述預測三維點云進行聚合處理，得到與每簇所述預測三維點云對應的關節點的三維坐標包括：

針對每簇所述預測三維點云，將該簇預測三維點云包括的所有三維點的平均值作為與該簇預測三維點云對應的關節點的三維坐標。

4.根據權利要求1所述的方法，其特征在于，獲取機械臂的三基色圖像包括：

獲取第一圖像采集裝置采集得到的機器人的原始三基色圖像；

對所述原始三基色圖像進行分割，得到機械臂所處區域的三基色圖像。

5.根據權利要求4所述的方法，其特征在于，獲取所述機械臂對應的三維點云包括：

獲取第二圖像采集裝置采集得到的機器人的原始深度圖像；

根據所述三基色圖像在所述原始三基色圖像的位置，在所述原始深度圖像中提取深度圖像；

根據所述第二圖像采集裝置的內參、所述三基色圖像以及所述深度圖像，得到所述機械臂對應的三維點云。

6.根據權利要求5所述的方法，其特征在于，根據所述第二圖像采集裝置的內參、所述三基色圖像以及所述深度圖像，得到所述機械臂對應的三維點云包括：

根據所述第二圖像采集裝置的內參、所述三基色圖像以及所述深度圖像，得到所述機械臂對應的初始三維點云；

計算所述初始三維點云中重心點的坐標；

根據所述初始三維點云中每個所述三維點的原始坐標和所述重心點的坐標，對所述初始三維點云中每個所述三維點的坐標進行更新；

將更新后的每個所述三維點進行組合，以得到所述機械臂對應的三維點云。

7.根據權利要求1所述的方法，其特征在于，所述位姿預測模型的訓練過程包括：

獲取多個圖像樣本數據，其中，每個所述圖像樣本數據包括所述機械臂的樣本三基色圖像和樣本深度圖像，且每個所述圖像樣本數據中攜帶有與該圖像樣本數據對應的樣本三維點云中每個樣本三維點相對于機械臂的每個關節點的樣本偏移量；

基于多個圖像樣本數據對神經網絡模型進行訓練，直至滿足預設的訓練條件，停止訓練并輸出所述位姿預測網絡。