[發明專利]用于機器人抓取的深度機器學習方法和裝置

有效

• 申請號: 201780018883.0
• 申請日: 2017-03-02
• 公開（公告）號: CN108885715B
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 蘇達赫恩德拉·維婭亞納拉辛漢;章繼鴻;彼得·帕斯特桑佩德羅;謝爾蓋·萊文
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G05B13/00;G05B13/02;G06N3/08
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李寶泉;周亞榮

1.一種由一個或多個處理器實現的用于機器人抓取的深度機器學習方法，包括：

生成候選末端執行器運動矢量，所述候選末端執行器運動矢量定義將機器人的抓取末端執行器從當前姿態移動到附加姿態的運動；

識別由與所述機器人相關聯的視覺傳感器捕獲的當前圖像，所述當前圖像捕獲所述抓取末端執行器和所述機器人的環境中的至少一個物體；

將所述當前圖像和所述候選末端執行器運動矢量作為輸入應用于訓練的抓取卷積神經網絡；

在所述訓練的抓取卷積神經網絡上生成在應用所述運動的情況下對所述物體的成功抓取的量度，所述量度是基于將所述圖像和所述末端執行器運動矢量應用于所述訓練的抓取卷積神經網絡來生成的；

識別期望的物體語義特征；

將所述當前圖像的或由所述視覺傳感器捕獲的附加圖像的空間變換作為輸入應用于語義卷積神經網絡；

在所述語義卷積神經網絡上基于所述空間變換來生成附加量度，所述附加量度指示所述期望的物體語義特征是否存在于所述空間變換中；

基于所述成功抓取的量度和指示所述期望的物體語義特征是否存在的所述附加量度來生成末端執行器命令；以及

將所述末端執行器命令提供給所述機器人的一個或多個致動器。

2.根據權利要求1所述的由一個或多個處理器實現的用于機器人抓取的深度機器學習方法，進一步包括：

在所述訓練的抓取卷積神經網絡上基于將所述圖像和所述末端執行器運動矢量應用于所述訓練的抓取卷積神經網絡來生成空間變換參數；以及

在空間變換網絡上基于所述空間變換參數來生成所述空間變換。

3.根據權利要求1所述的由一個或多個處理器實現的用于機器人抓取的深度機器學習方法，其中，所述期望的物體語義特征定義物體分類。

4.根據權利要求1所述的由一個或多個處理器實現的用于機器人抓取的深度機器學習方法，進一步包括：

從用戶接口輸入設備接收用戶接口輸入；

其中，識別所述期望的物體語義特征是基于所述用戶接口輸入。

5.根據權利要求4所述的由一個或多個處理器實現的用于機器人抓取的深度機器學習方法，其中，所述用戶接口輸入設備是所述機器人的麥克風。

6.根據權利要求1所述的由一個或多個處理器實現的用于機器人抓取的深度機器學習方法，其中，所述空間變換是針對所述當前圖像的。

7.根據權利要求6所述的由一個或多個處理器實現的用于機器人抓取的深度機器學習方法，其中，所述空間變換裁切出所述當前圖像的一部分。

8.根據權利要求1所述的由一個或多個處理器實現的用于機器人抓取的深度機器學習方法，進一步包括：

確定在不應用所述運動的情況下對所述物體的成功抓取的當前量度；

其中，基于所述量度來生成所述末端執行器命令包括：基于所述量度與所述當前量度的比較來生成所述末端執行器命令。

9.根據權利要求8所述的由一個或多個處理器實現的用于機器人抓取的深度機器學習方法，其中，所述末端執行器命令是抓取命令，并且其中，生成所述抓取命令是響應于：

確定所述附加量度指示所述期望的物體特征存在于所述空間變換中；以及

確定所述量度與所述當前量度的比較滿足一個或多個準則。

10.根據權利要求1至8中的由一個或多個處理器實現的用于機器人抓取的任一項所述的深度機器學習方法，其中，所述末端執行器命令是末端執行器運動命令，并且其中，生成所述末端執行器運動命令包括：生成所述末端執行器運動命令以符合所述候選末端執行器運動矢量。

11.根據權利要求1至8中的任一項所述的由一個或多個處理器實現的用于機器人抓取的深度機器學習方法，其中，所述末端執行器命令是末端執行器運動命令，并且其中，生成所述末端執行器運動命令包括：生成所述末端執行器運動命令以實現對所述末端執行器的軌跡校正。