[發(fā)明專利]使用從2.5D視覺(jué)數(shù)據(jù)預(yù)測(cè)的域不變3D表示的機(jī)器人操縱

在審

• 申請(qǐng)?zhí)枺?/td>: 202080004276.0
• 申請(qǐng)日: 2020-02-28
• 公開(kāi)（公告）號(hào): CN112512755A
• 公開(kāi)（公告）日: 2021-03-16
• 發(fā)明（設(shè)計(jì)）人: H.李;X.嚴(yán);S.皮爾克;Y.白;S.M.坎薩里扎德;Y.龔;J.徐
• 申請(qǐng)（專利權(quán)）人: 谷歌有限責(zé)任公司
• 主分類號(hào): B25J9/16
• 分類號(hào): B25J9/16;G06T7/55
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 金玉潔

1.一種由機(jī)器人的一個(gè)或多個(gè)處理器實(shí)施的方法，所述方法包括：

識(shí)別由機(jī)器人的相機(jī)捕捉的圖像，所述圖像捕捉要由所述機(jī)器人操縱的對(duì)象，并且所述圖像包括多個(gè)通道，其中所述多個(gè)通道包括一個(gè)或多個(gè)顏色通道以及深度通道；

生成要由所述機(jī)器人操縱的對(duì)象的對(duì)象遮罩，其中生成所述對(duì)象遮罩包括：

使用對(duì)象檢測(cè)網(wǎng)絡(luò)來(lái)處理所述圖像的通道中的一個(gè)或多個(gè)；

生成所述對(duì)象的三維(3D)點(diǎn)云，其中生成所述對(duì)象的3D點(diǎn)云包括：

使用點(diǎn)云預(yù)測(cè)網(wǎng)絡(luò)來(lái)處理：

所述圖像的至少一部分的所有通道，以及

所生成的所述對(duì)象的對(duì)象遮罩；以及

在控制所述機(jī)器人的一個(gè)或多個(gè)致動(dòng)器中使用所生成的3D點(diǎn)云。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述對(duì)象檢測(cè)網(wǎng)絡(luò)被訓(xùn)練用于處理圖像，以生成所述圖像中的對(duì)象的邊界框和遮罩，并且還包括：

生成要由所述機(jī)器人操縱的對(duì)象的邊界框，其中生成所述邊界框包括：

使用所述對(duì)象檢測(cè)網(wǎng)絡(luò)來(lái)處理所述圖像的通道中的一個(gè)或多個(gè)。

3.根據(jù)權(quán)利要求2所述的方法，其中，使用所述點(diǎn)云預(yù)測(cè)網(wǎng)絡(luò)處理的所述圖像的至少一部分是所述圖像的基于所述邊界框選擇的裁剪。

4.根據(jù)權(quán)利要求3所述的方法，還包括基于所述圖像的被包括在所述裁剪中的像素由所述邊界框包圍來(lái)選擇所述圖像的裁剪。

5.根據(jù)權(quán)利要求3所述的方法，其中，生成所述對(duì)象的3D點(diǎn)云還包括：

使用點(diǎn)云預(yù)測(cè)網(wǎng)絡(luò)來(lái)處理：

一個(gè)或多個(gè)相機(jī)內(nèi)參，所述一個(gè)或多個(gè)相機(jī)內(nèi)參定義了所述相機(jī)的考慮所述圖像的裁剪的一個(gè)或多個(gè)內(nèi)在參數(shù)。

6.根據(jù)權(quán)利要求5所述的方法，其中，在使用所述點(diǎn)云預(yù)測(cè)網(wǎng)絡(luò)來(lái)處理所述一個(gè)或多個(gè)相機(jī)內(nèi)參中，所述一個(gè)或多個(gè)相機(jī)內(nèi)參在所述圖像的至少一部分的所有通道和所生成的所述對(duì)象的對(duì)象遮罩被應(yīng)用作為初始輸入的初始輸入的下游被應(yīng)用作為所述點(diǎn)云預(yù)測(cè)網(wǎng)絡(luò)的側(cè)輸入。

7.根據(jù)權(quán)利要求6所述的方法，其中，所述圖像的至少一部分的所有通道和所生成的所述對(duì)象的對(duì)象遮罩使用所述點(diǎn)云預(yù)測(cè)網(wǎng)絡(luò)的初始編碼器進(jìn)行初始處理，并且其中，所述相機(jī)內(nèi)參在所述初始編碼器之后并在使用所述點(diǎn)云預(yù)測(cè)網(wǎng)絡(luò)的初始解碼器進(jìn)行處理之前被應(yīng)用作為側(cè)輸入。

8.根據(jù)任一前述權(quán)利要求所述的方法，其中，在控制所述機(jī)器人的一個(gè)或多個(gè)致動(dòng)器中使用所生成的3D點(diǎn)云包括：

生成對(duì)所述對(duì)象的成功操縱的預(yù)測(cè)，生成對(duì)所述對(duì)象的成功操縱的預(yù)測(cè)包括：

通過(guò)使用評(píng)價(jià)網(wǎng)絡(luò)處理所生成的所述對(duì)象的3D點(diǎn)云或所述3D點(diǎn)云的變換來(lái)生成對(duì)成功操縱的預(yù)測(cè)；以及

基于對(duì)成功操縱的預(yù)測(cè)來(lái)控制所述機(jī)器人的一個(gè)或多個(gè)致動(dòng)器。

9.根據(jù)權(quán)利要求8所述的方法，其中，生成對(duì)成功操縱的預(yù)測(cè)包括：

識(shí)別所述機(jī)器人的末端效應(yīng)器的候選末端效應(yīng)器姿勢(shì)；

通過(guò)將所述3D點(diǎn)云變換為相對(duì)于所述末端效應(yīng)器姿勢(shì)的末端效應(yīng)器框架來(lái)生成所述3D點(diǎn)云的變換；以及

通過(guò)使用所述評(píng)價(jià)網(wǎng)絡(luò)處理所述3D點(diǎn)云的變換來(lái)生成對(duì)成功操縱的預(yù)測(cè)。

10.根據(jù)權(quán)利要求9所述的方法，其中，基于對(duì)成功操縱的預(yù)測(cè)來(lái)控制所述機(jī)器人的一個(gè)或多個(gè)致動(dòng)器包括：

基于對(duì)成功操縱的預(yù)測(cè)滿足至少一個(gè)準(zhǔn)則來(lái)選擇所述候選末端效應(yīng)器姿勢(shì)；以及

響應(yīng)于選擇所述候選末端效應(yīng)器姿勢(shì)：

控制所述機(jī)器人的一個(gè)或多個(gè)致動(dòng)器以使得所述末端效應(yīng)器移動(dòng)到所述候選末端效應(yīng)器姿勢(shì)。

11.根據(jù)權(quán)利要求10所述的方法，其中，所述操縱是抓取，并且其中，基于對(duì)成功操縱的預(yù)測(cè)來(lái)控制所述機(jī)器人的一個(gè)或多個(gè)致動(dòng)器還包括：

在所述末端效應(yīng)器處于所述候選末端效應(yīng)器姿勢(shì)之后，使得所述末端效應(yīng)器嘗試抓取所述對(duì)象。