[發明專利]使用神經網絡和幾何感知對象表示的機器人抓取預測

有效

• 申請號: 201880035890.6
• 申請日: 2018-06-18
• 公開（公告）號: CN110691676B
• 公開（公告）日: 2023-02-03
• 發明（設計）人: J.戴維森;X.嚴;Y.白;H.李;A.古普塔;S.M.坎薩里扎德;A.帕薩克;J.許
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 金玉潔

1.一種由一個或多個處理器實施的機器人抓取預測方法，包括：

識別由機器人的視覺傳感器捕獲的當前圖像，所述當前圖像捕獲所述機器人的末端效應器和將由所述機器人使用所述末端效應器抓取的對象；

確定所述末端效應器的候選抓取姿態；

生成捕獲所述對象的所述當前圖像或附加圖像的編碼；其中，生成所述編碼包括使用訓練后的神經網絡編碼器處理所述當前圖像或所述附加圖像，并且其中，所生成的編碼對所述對象的幾何特征進行編碼；

將所述當前圖像、所述候選抓取姿態和所述編碼作為一個或多個輸入應用于抓取結果預測網絡，其中，所述抓取結果預測網絡是訓練后的神經網絡模型；

基于所述一個或多個輸入、使用所述抓取結果預測網絡生成抓取結果預測；

確定所述抓取結果預測滿足一個或多個標準；以及

響應于所述抓取結果預測滿足一個或多個標準，向所述機器人的一個或多個致動器提供控制命令，以使所述末端效應器以所述末端效應器的候選抓取姿態嘗試抓取所述對象。

2.根據權利要求1所述的方法，還包括：

使用所述編碼和所述末端效應器的候選抓取姿態生成局部幾何表示；以及

在生成所述抓取結果預測時，將所述局部幾何表示包括在應用于所述抓取結果預測網絡的一個或多個輸入中。

3.根據權利要求2所述的方法，其中，生成所述局部幾何表示包括從所述末端效應器的候選抓取姿態的參考系對所述編碼執行密集采樣。

4.根據權利要求1-3中任一項所述的方法，其中，所述編碼對于所述視覺傳感器的任何視覺傳感器姿態都是不變的。

5.根據權利要求1-3中任一項所述的方法，其中，所述訓練后的神經網絡編碼器是與三維神經網絡解碼器聯合訓練的。

6.根據權利要求5所述的方法，其中，所述訓練后的神經網絡編碼器是基于將在所述神經網絡編碼器上生成的訓練編碼應用于所述三維神經網絡解碼器、在所述三維神經網絡解碼器上生成訓練解碼、至少部分基于所述訓練解碼確定損失、以及基于所述損失更新所述神經網絡編碼器來訓練的。

7.根據權利要求1-3中任一項所述的方法，其中，由所述編碼來編碼的幾何特征包括所述對象的三維形狀特征。

8.根據權利要求1-3中任一項所述的方法，其中，將所述一個或多個輸入應用于所述抓取結果預測網絡包括：

將所述當前圖像作為所述一個或多個輸入中的第一輸入的至少一部分應用于一個或多個第一層；以及

基于應用所述第一輸入，在所述第一層上生成第一層輸出。

9.根據權利要求8所述的方法，其中，將所述一個或多個輸入應用于所述抓取結果預測網絡還包括：

將所述編碼和所述第一層輸出作為所述一個或多個輸入中的第二輸入的至少一部分應用于一個或多個第二層；以及

基于應用所述第二輸入，在所述第二層上生成第二層輸出。

10.根據權利要求9所述的方法，其中，將所述一個或多個輸入應用于所述抓取結果預測網絡還包括：

將所述末端效應器姿態和所述第二層輸出作為所述一個或多個輸入中的第三輸入的至少一部分應用于一個或多個第三層；以及

基于應用所述第三輸入，在所述第三層上生成第三層輸出。

11.根據權利要求10所述的方法，還包括：

使用所述編碼和所述末端效應器的候選抓取姿態生成局部幾何表示；

將所述第三層輸出和所述局部幾何表示作為所述一個或多個輸入中的第四輸入的至少一部分應用于一個或多個第四層；以及

基于應用所述第四輸入，在所述第四層上生成所述抓取結果預測。