[發(fā)明專利]使用神經(jīng)網(wǎng)絡和幾何感知對象表示的機器人抓取預測

有效

• 申請?zhí)枺?/td>: 201880035890.6
• 申請日: 2018-06-18
• 公開（公告）號: CN110691676B
• 公開（公告）日: 2023-02-03
• 發(fā)明（設計）人: J.戴維森;X.嚴;Y.白;H.李;A.古普塔;S.M.坎薩里扎德;A.帕薩克;J.許
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 金玉潔

一種深度機器學習方法和裝置，其中一些涉及確定機器人的末端效應器的候選抓取姿態(tài)的抓取結果預測。一些實施方式針對幾何網(wǎng)絡和抓取結果預測網(wǎng)絡的訓練和利用。訓練后的幾何網(wǎng)絡可用于基于二維或二維半圖像生成(多個)幾何輸出，(多個)幾何輸出是幾何感知的并且表示由(多個)圖像捕獲的(例如，高維)三維特征。在一些實施方式中，(多個)幾何輸出至少包括基于訓練后的編碼神經(jīng)網(wǎng)絡生成的編碼，其中，該訓練后的編碼神經(jīng)網(wǎng)絡被訓練為生成表示三維特征(例如，形狀)的編碼。訓練后的抓取結果預測網(wǎng)絡可以用于基于將(多個)幾何輸出和附加數(shù)據(jù)作為(多個)輸入應用于網(wǎng)絡來生成候選抓取姿態(tài)的抓取結果預測。

技術領域

本說明書中的實施方式涉及使用神經(jīng)網(wǎng)絡和幾何感知對象表示的機器人抓取預測。

背景技術

許多機器人利用一個或多個末端效應器來抓取各種對象。例如，機器人可以利用諸如“沖擊式”夾取器或者“侵入式”夾取器(例如，使用銷、針等物理地穿透對象)的抓取末端效應器從第一位置拾取對象，將對象移動到第二位置，并在第二位置處放下對象。可以抓取對象的機器人末端效應器的一些附加示例包括“限制式”末端效應器(例如，使用吸力或真空來拾取對象)和一個或多個“接觸式”末端效應器(例如，使用表面張力、凍結或粘合劑來拾取對象)，僅舉幾例。

發(fā)明內(nèi)容

本說明書的各種實施方式通常針對與確定機器人的末端效應器的候選抓取姿態(tài)的抓取結果預測有關的深度機器學習方法和裝置。抓取結果預測可以是一種度量，該度量指示當末端效應器處于候選抓取姿態(tài)時，如果末端效應器嘗試抓取對象，成功抓取對象的可能性。在一些實施方式中，如果確定抓取結果預測滿足一個或多個標準(例如，概率閾值)，則可以向機器人的一個或多個致動器提供控制命令，以使末端效應器以末端效應器的候選抓取姿態(tài)嘗試抓取對象。

一些實施方式針對幾何網(wǎng)絡和抓取結果預測網(wǎng)絡的訓練和利用。幾何網(wǎng)絡和抓取結果預測網(wǎng)絡可以各自包括至少一個訓練后的神經(jīng)網(wǎng)絡模型。訓練后的幾何網(wǎng)絡可以用于基于(多個)二維(two-dimensional，2D)或二維半(two-and-a-half-dimensional，2.5D)圖像(具有深度的2D)，生成(多個)幾何輸出，其中，(多個)幾何輸出是幾何感知的并且表示由(多個)圖像捕獲的(多個)對象的三維(three-dimensional，3D)幾何特征(例如，形狀、位置、方向)。(多個)圖像可以由機器人的視覺傳感器(例如，捕獲2D或2.5D視覺傳感器數(shù)據(jù)的視覺傳感器)捕獲。例如，由(多個)幾何輸出表示的對象的幾何特征可以至少包括對象的3D形狀。

(多個)幾何輸出可以包括全局幾何表示，諸如高維幾何表示的編碼。該編碼可以基于將圖像應用(或提供)于神經(jīng)網(wǎng)絡編碼器(例如，卷積神經(jīng)網(wǎng)絡(convolutional neuralnetwork，CNN)編碼器)來生成。如本文所述，可以訓練神經(jīng)網(wǎng)絡編碼器，使得利用神經(jīng)網(wǎng)絡編碼器生成的編碼表示由圖像捕獲的(多個)對象的3D特征。此外，(多個)幾何輸出可以附加地或可選地包括局部幾何表示，其中，局部幾何表示是幾何感知的并且局部聚焦于對象的靠近候選抓取姿態(tài)的區(qū)域。例如，可以基于對是編碼的全局幾何表示的密集采樣來生成局部幾何表示，其中，密集采樣是來自末端效應器的候選抓取姿態(tài)的角度(例如，密集采樣來自候選抓取姿態(tài)的參考系)。以這些和其他方式，局部幾何表示可以從候選抓取姿態(tài)的角度來表示對象的3D特征。

訓練后的抓取結果預測網(wǎng)絡可以用于基于將(多個)幾何輸出和附加數(shù)據(jù)作為(多個)輸入應用于網(wǎng)絡來生成候選抓取姿態(tài)的抓取結果預測。例如，應用于抓取結果預測網(wǎng)絡的附加數(shù)據(jù)可以包括候選抓取姿態(tài)、預抓取圖像和/或預抓取視覺傳感器姿態(tài)。