[發明專利]使用從2.5D視覺數據預測的域不變3D表示的機器人操縱

在審

• 申請號: 202080004276.0
• 申請日: 2020-02-28
• 公開（公告）號: CN112512755A
• 公開（公告）日: 2021-03-16
• 發明（設計）人: H.李;X.嚴;S.皮爾克;Y.白;S.M.坎薩里扎德;Y.龔;J.徐
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: B25J9/16
• 分類號: B25J9/16;G06T7/55
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 金玉潔

1.一種由機器人的一個或多個處理器實施的方法，所述方法包括：

識別由機器人的相機捕捉的圖像，所述圖像捕捉要由所述機器人操縱的對象，并且所述圖像包括多個通道，其中所述多個通道包括一個或多個顏色通道以及深度通道；

生成要由所述機器人操縱的對象的對象遮罩，其中生成所述對象遮罩包括：

使用對象檢測網絡來處理所述圖像的通道中的一個或多個；

生成所述對象的三維(3D)點云，其中生成所述對象的3D點云包括：

使用點云預測網絡來處理：

所述圖像的至少一部分的所有通道，以及

所生成的所述對象的對象遮罩；以及

在控制所述機器人的一個或多個致動器中使用所生成的3D點云。

2.根據權利要求1所述的方法，其中，所述對象檢測網絡被訓練用于處理圖像，以生成所述圖像中的對象的邊界框和遮罩，并且還包括：

生成要由所述機器人操縱的對象的邊界框，其中生成所述邊界框包括：

使用所述對象檢測網絡來處理所述圖像的通道中的一個或多個。

3.根據權利要求2所述的方法，其中，使用所述點云預測網絡處理的所述圖像的至少一部分是所述圖像的基于所述邊界框選擇的裁剪。

4.根據權利要求3所述的方法，還包括基于所述圖像的被包括在所述裁剪中的像素由所述邊界框包圍來選擇所述圖像的裁剪。

5.根據權利要求3所述的方法，其中，生成所述對象的3D點云還包括：

使用點云預測網絡來處理：

一個或多個相機內參，所述一個或多個相機內參定義了所述相機的考慮所述圖像的裁剪的一個或多個內在參數。

6.根據權利要求5所述的方法，其中，在使用所述點云預測網絡來處理所述一個或多個相機內參中，所述一個或多個相機內參在所述圖像的至少一部分的所有通道和所生成的所述對象的對象遮罩被應用作為初始輸入的初始輸入的下游被應用作為所述點云預測網絡的側輸入。

7.根據權利要求6所述的方法，其中，所述圖像的至少一部分的所有通道和所生成的所述對象的對象遮罩使用所述點云預測網絡的初始編碼器進行初始處理，并且其中，所述相機內參在所述初始編碼器之后并在使用所述點云預測網絡的初始解碼器進行處理之前被應用作為側輸入。

8.根據任一前述權利要求所述的方法，其中，在控制所述機器人的一個或多個致動器中使用所生成的3D點云包括：

生成對所述對象的成功操縱的預測，生成對所述對象的成功操縱的預測包括：

通過使用評價網絡處理所生成的所述對象的3D點云或所述3D點云的變換來生成對成功操縱的預測；以及

基于對成功操縱的預測來控制所述機器人的一個或多個致動器。

9.根據權利要求8所述的方法，其中，生成對成功操縱的預測包括：

識別所述機器人的末端效應器的候選末端效應器姿勢；

通過將所述3D點云變換為相對于所述末端效應器姿勢的末端效應器框架來生成所述3D點云的變換；以及

通過使用所述評價網絡處理所述3D點云的變換來生成對成功操縱的預測。

10.根據權利要求9所述的方法，其中，基于對成功操縱的預測來控制所述機器人的一個或多個致動器包括：

基于對成功操縱的預測滿足至少一個準則來選擇所述候選末端效應器姿勢；以及

響應于選擇所述候選末端效應器姿勢：

控制所述機器人的一個或多個致動器以使得所述末端效應器移動到所述候選末端效應器姿勢。

11.根據權利要求10所述的方法，其中，所述操縱是抓取，并且其中，基于對成功操縱的預測來控制所述機器人的一個或多個致動器還包括：

在所述末端效應器處于所述候選末端效應器姿勢之后，使得所述末端效應器嘗試抓取所述對象。