[發明專利]與基于捕獲物體的圖像并且基于用于環境中的未來機器人運動的參數來預測機器人環境中的物體運動有關的機器學習方法和裝置

有效

• 申請號: 201780031172.7
• 申請日: 2017-05-16
• 公開（公告）號: CN109153123B
• 公開（公告）日: 2022-04-26
• 發明（設計）人: S.萊文;C.芬恩;I.古德費洛
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: B25J9/16
• 分類號: B25J9/16;G05B13/02
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 邵亞麗;王冉

本說明書的一些實施方式通常涉及深度機器學習方法和裝置，其涉及預測響應于機器人在環境中的特定運動而將對機器人的環境中的物體發生的運動(如果有的話)。一些實施方式涉及訓練深度神經網絡模型以預測機器人環境的圖像的至少一個變換(如果有的話)，其將作為實現機器人在環境中的特定運動的至少一部分的結果而發生。訓練的深度神經網絡模型可以基于包括圖像和定義特定運動的部分的一組機器人運動參數的輸入來預測變換。

技術領域

背景技術

許多機器人被編程為利用一個或多個末端執行器來操縱一個或多個物體。例如，機器人可以利用末端執行器將力施加到物體上并引起該物體的運動。例如，機器人可以利用抓握末端執行器或其他末端執行器來移動物體而不必抓住該物體。此外，例如，機器人可以利用抓握末端執行器比如“沖擊式”抓取器或“漸進式”抓取器(例如使用銷、針等物理地穿透物體)從第一位置拾取物體，將物體移動到第二位置，然后在第二位置放下物體。

發明內容

本說明書的一些實施方式通常涉及深度機器學習方法和裝置，其涉及預測響應于機器人在環境中的特定運動而將對機器人的環境中的物體發生的運動(如果有的話)。一些實施方式涉及訓練深度神經網絡模型以預測機器人環境的圖像的至少一個變換(如果有的話)，其將作為實現機器人在環境中的特定運動的至少一部分的結果而發生。訓練的深度神經網絡模型可以基于包括(1)圖像和(2)定義特定運動的部分的機器人運動參數的輸入來預測變換。可以利用預測的變換來變換圖像以生成機器人環境的預測圖像，其中預測圖像預測機器人的環境是要發生的特定運動的部分。換句話說，預測圖像示出了在特定運動的一部分發生之后機器人的環境的預測，并且可以用于例如預測將作為特定運動的結果而發生的環境中的物體的運動。

預測的運動可以用于各種目的，例如確定是否向機器人的致動器提供控制命令以實現特定運動。例如，可以將預測的運動與期望的運動進行比較，并且如果預測的運動符合期望的運動則實施控制命令。以這種方式，特定運動的結果可以在實施特定運動之前被有效地“可視化”，并且如果結果是期望的，則實施特定運動。如本文所述，在各種實施方式中，深度神經網絡模型基于用于那些未來時間步驟的候選運動參數來預測多個未來時間步驟中的每一個的圖像，從而使得能夠有效地可視化進入未來的許多時間步驟。

在一些實施方式中，提供了一種方法，其包括生成候選機器人運動參數，所述候選機器人運動參數定義可由機器人的一個或多個部件在機器人的環境中執行的候選運動的至少一部分。所述方法還包括識別由與機器人相關的視覺傳感器捕獲的當前圖像。所述當前圖像捕獲機器人的環境的至少一部分。所述方法還包括：將所述當前圖像和候選機器人運動參數作為輸入應用于訓練的神經網絡；和基于將所述當前圖像和候選機器人運動參數應用于訓練的神經網絡來生成所述預測變換來生成所述當前圖像的至少一個預測變換。所述方法還包括基于所述至少一個預測變換來變換所述當前圖像以生成至少一個預測圖像。如果候選運動的至少一部分由機器人的部件在環境中執行，則所述預測圖像預測機器人的環境的部分。

這些和其他實施方式可以可選地包括以下特征中的一個或多個。

在一些實施方式中，該方法還包括：基于所述預測圖像，確定執行所述候選運動；和向機器人的一個或多個致動器提供一個或多個控制命令以執行所述候選運動。

在一些實施方式中，該方法還包括：基于所述預測圖像，確定執行替代運動以代替所述候選運動；和向機器人的一個或多個致動器提供一個或多個控制命令以執行所述替代運動。

在一些實施方式中，該方法還包括基于將所述當前圖像和候選機器人運動參數應用于訓練的神經網絡，生成至少一個合成掩模(mask)。變換所述當前圖像還基于所述至少一個合成掩模。作為一個示例，所述至少一個預測變換可以包括多個預測變換，所述至少一個合成掩模可以包括多個合成掩模，并且基于所述至少一個預測變換來變換所述當前圖像以生成所述預測圖像可以包括：基于所述多個預測變換生成多個預測圖像；和基于所述多個合成掩模合成預測圖像以生成所述預測圖像。