[發(fā)明專利]一種基于TSDF三維重建的機械臂六自由度視覺閉環(huán)抓取方法

有效

• 申請?zhí)枺?/td>: 202210551360.5
• 申請日: 2022-05-18
• 公開（公告）號: CN114851201B
• 公開（公告）日: 2023-09-05
• 發(fā)明（設計）人: 歐林林;徐靖;禹鑫燚;周利波;魏巖
• 申請（專利權）人: 浙江工業(yè)大學
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 杭州天正專利事務所有限公司 33201
• 代理人: 舒良

本發(fā)明涉及基于TSDF三維重建的機械臂六自由度視覺閉環(huán)抓取方法。包括如下步驟：步驟一：通過張正友相機標定法和ArUco?Markers標定法標定機械臂底座坐標系和相機坐標系；步驟二：利用TSDF函數(shù)對獲取的圖像信息進行三維場景重建，以減少物體與物體之間的環(huán)境噪聲點；步驟三：建立強化學習網絡模型；步驟四：將預測的末端執(zhí)行器抓取姿態(tài)反向投影至三維重建場景中，判斷本次預測抓取質量；步驟五：通過機器人正逆運動學完成機械臂抓取移動；步驟六：進行強化學習模型訓練，使得機械臂完成抓取動作；本發(fā)明克服現(xiàn)有技術的缺點，提出一種易實現(xiàn)、適用性高的，基于TSDF三維重建的機械臂六自由度視覺閉環(huán)抓取系統(tǒng)，此系統(tǒng)減少物體間遮擋、堆疊造成的環(huán)境噪聲，降低了單一視覺傳感器干擾導致的深度誤差。此外，該系統(tǒng)在保證高精度的同時，可以實現(xiàn)快速實時的目標檢測并完成抓取動作。

技術領域

本發(fā)明屬于一種非結構環(huán)境下的機械臂六自由度抓取物體技術，具體機器人抓取控制領域。

背景技術

目標抓取一直是機器人學重要的問題，但始終沒有令人滿意地相應解決方案。得益于機器臂的多功能操縱系統(tǒng)，使其能夠在三維空間內靈活控制具有高自由度的末端執(zhí)行器，實現(xiàn)對于物體的靈巧抓取以及對環(huán)境變化的動態(tài)響應能力。最近，隨著深度學習和強化學習的快速發(fā)展和相應體系的構建，為機械臂智能抓取方式提供了多方面的可行思路。

盡管機械臂6自由度抓取控制具有較高的實用價值適用于更復雜的操作環(huán)境，但是目前多數(shù)數(shù)據(jù)驅動抓取算法僅在簡單的桌面設置中進行自上而下的抓取(4Dof：x，y，z，yaw)，或利用物理分析來掌握合適的抓取姿態(tài)。然而由于受限制于三維移動抓取，算法對于應用場景的限制很大，機械臂末端執(zhí)行器只能從垂直往下的方向接近物體，在某些情況下，它不能沿著這個方向抓取物體。例如，夾持器很難抓手很難抓住水平放置的盤子。此外這些基于物理分析的方法不僅需要計算大量的實驗環(huán)境數(shù)據(jù)，并且需要計算估計精確的目標模型，從而產生的必然是大量的時間和計算成本，而對于非結構化目標物體的物理模型往往是不通用的，因此大多算法很難直接應用于新穎物體的抓取，系統(tǒng)的魯棒性和泛化性較差。

由此，機械臂6自由度(6-DOF)抓取想法被提出。雖然，Hongzhuo?Liang提出的PointnetGPD采用采樣-評估的兩步法，通過評估大量的樣本以確定可靠的抓取姿態(tài)。但是，這種方法無疑是相當耗時的。(Hongzhuo?Liang?et?al.“Pointnetgpd:Detecting?graspconfigurations?from?point?sets”.In:2019International?Conference?on?Roboticsand?Automation(ICRA).IEEE.2019,pp.3629–3635)。Florence等人從現(xiàn)有的抓取姿態(tài)中進行姿態(tài)轉移。但是該算法對于數(shù)據(jù)集中未記錄的目標對象和物體幾何形狀時，其成功率就會相對較為低下，故此不能推廣到新的應用場景。(Peter?Florence,Lucas?Manuelli,andRuss?Tedrake.“Dense?Object?Nets:Learning?Dense?Visual?Object?Descriptors?Byand?For?Robotic?Manipulation”.In:Conference?on?Robot?Learning(CoRL)(2018))。最近，從RGBD相機獲取的部分視圖中重建了點云場景，然后使用設計的Pointnet++網絡模型提取物體特征后，直接完成6Dof抓取姿勢回歸并在重建的點云場景上進行抓取規(guī)劃。(P.Ni,W.Zhang,X.Zhu,and?Q.Cao,“Learning?an?end-to-end?spatial?graspgeneration?and?refinement?algorithm?from?simulation,”Machine?Vision?andApplications,vol.32,no.1,pp.1–12,2021.)。

發(fā)明內容

本發(fā)明克服現(xiàn)有技術的缺點，提出一種易實現(xiàn)、適用性高的機械臂六自由度抓取方法。本發(fā)明設計了特征提取網絡和Policy?Gradient強化學習框架，可以實現(xiàn)對于訓練數(shù)據(jù)集中未記錄物體的定位和六自由度計劃抓取。