[發明專利]使用從2.5D視覺數據預測的域不變3D表示的機器人操縱

在審

• 申請號: 202080004276.0
• 申請日: 2020-02-28
• 公開（公告）號: CN112512755A
• 公開（公告）日: 2021-03-16
• 發明（設計）人: H.李;X.嚴;S.皮爾克;Y.白;S.M.坎薩里扎德;Y.龔;J.徐
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: B25J9/16
• 分類號: B25J9/16;G06T7/55
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 金玉潔

實施方式涉及訓練點云預測模型，其中該點云預測模型可以用于處理對象的單視圖二維半(2.5D)觀察，以生成對象的域不變三維(3D)表示。實施方式額外地或可替代地涉及利用域不變3D表示來訓練使用要被操縱的模擬對象的域不變3D表示作為訓練期間機器人操縱策略模型的輸入的至少一部分的機器人操縱策略模型。實施方式額外地或可替代地涉及基于通過利用機器人操縱策略模型處理所生成的域不變3D表示而生成的輸出來在控制機器人中利用經訓練的機器人操縱策略模型。

背景技術

已經提出了機器人控制的各種基于機器學習的方法。這些方法中的一些訓練可以用于生成在控制機器人中利用的一個或多個預測的機器學習模型(例如，深度神經網絡模型)，并且使用僅基于來自真實世界物理機器人的數據的訓練數據來訓練機器學習模型。然而，這些和/或其他方法可能具有一個或多個缺點。例如，生成基于來自真實世界物理機器人的數據的訓練數據需要在生成用于訓練數據的數據時大量使用一個或多個物理機器人。這可能很耗時(例如，實際上導航大量路徑需要大量時間)，可能消耗大量資源(例如，操作機器人所需的電力)，可能導致正被利用的機器人的磨損，和/或可能需要非常多的人工干預。

鑒于這些和/或其他考慮，已經提出了使用機器人模擬器來生成模擬機器人數據，其中該模擬機器人數據可以在生成可以在機器學習模型的訓練中利用的模擬訓練數據中被利用。然而，通常有在真實機器人和真實環境與由機器人模擬器模擬的模擬機器人和/或模擬環境之間存在的有意義的“現實差距”。這可能導致生成沒有準確反映真實環境中會發生的情況的模擬訓練數據。這可能影響在這樣的模擬訓練數據上訓練的機器學習模型的性能，和/或可能需要在訓練中也利用大量的真實世界訓練數據以幫助緩解現實差距。

發明內容

本文公開的實施方式涉及訓練可以用于處理對象的單視圖二維半(2.5D)觀察的點云預測模型(諸如神經網絡模型的機器學習模型)以生成對象的域不變三維(3D)表示(例如，對象的3D點云)。各種實施方式還涉及利用域不變3D表示來(例如，至少部分在模擬中)訓練使用要被操縱的模擬對象的域不變3D表示作為訓練期間機器人操縱策略模型的輸入的至少一部分的機器人操縱策略模型(例如，評價網絡或其他策略模型)。各種實施方式附加地或可替代地涉及基于通過利用機器人操縱策略模型處理所生成的域不變3D表示而生成的輸出來在控制機器人中利用經訓練的機器人操縱策略模型。

基于使用經訓練的形狀預測網絡(例如，點云預測網絡或其他3D形狀預測網絡)處理由機器人的相機捕捉的2.5D觀察來生成域不變3D表示。2.5D觀察可以是包括一個或多個顏色通道(例如，紅色、綠色和藍色通道)和深度通道的圖像。換句話說，圖像的每個像素可以具有深度通道以及一個或多個顏色通道。相機可以是例如包括捕捉視覺數據的一個或多個傳感器的RGB-D相機，其中該視覺數據共同地(并且可選地在處理之后)定義具有多個像素的圖像，并且對于像素中的每一個共同地定義深度通道以及一個或多個附加通道(例如，紅色、綠色和藍色通道)。可以利用各種類型的RGB-D相機，包括無源RGB-D相機和有源RGB-D相機(例如，包括散斑投影儀或利用光源和飛行時間的相機)。如本文所述，在生成域不變3D表示中利用的每個2.5D圖像可以是單視圖2.5D圖像。

可以通過利用模擬數據訓練形狀預測模型和/或機器人操縱策略來實現各種效率。例如，可以從模擬有效地獲得在訓練一個或兩個模型中利用的地面真值數據。此外，利用域不變3D表示作為機器人操縱策略模型的輸入可以使得網絡能夠主要(或完全)基于模擬訓練數據進行訓練，同時當在真實世界機器人上利用機器人操縱策略模型時緩解現實差距。例如，作為對象的3D點云的域不變3D表示描述了當模擬時可以具有最小現實差距/沒有現實差距的對象的3D形狀。這樣的3D點云對于紋理或環境改變是不變的，這在模擬時可能具有顯著的現實差距。此外，域不變3D表示可以是緊湊的(在數據方面)，同時在語義上可解釋并且可直接應用于對象操縱。這可以使得能夠使用機器人操縱策略模型來有效處理這樣的表示，同時實現高精度和/或魯棒性。