[發明專利]一種適用于密集環境下的機械臂推抓系統

有效

• 申請號: 202011386636.6
• 申請日: 2020-12-01
• 公開（公告）號: CN112605983B
• 公開（公告）日: 2022-04-19
• 發明（設計）人: 禹鑫燚;樊越海;胡加南;鄒超;歐林林
• 申請（專利權）人: 浙江工業大學
• 主分類號: B25J9/08
• 分類號: B25J9/08;B25J9/16;B25J15/08;B25J18/00;B25J19/02;G06N3/04;G06N3/08
• 代理公司: 杭州天正專利事務所有限公司 33201
• 代理人: 王兵

一種適用于密集環境下的機械臂推抓系統，包括PC，彩色深度相機，機械臂，智能夾持器；軟件端包括CoppliaSim仿真平臺；彩色深度相機通過USB與計算機相連接，機械臂通過局域網與PC連接；彩色深度相機獲取彩色RGB圖和深度圖；計算機執行機械臂控制程序；機械臂執行動作；智能夾持器抓取或推物塊。CoppliaSim仿真平臺包括仿真模塊、標定模塊、圖像預處理模塊、特征提取模塊、決策網絡模塊、動作策略模塊、機器人I/O模塊、機器人模塊。本發明利用仿真和實際相結合，減少因訓練而造成的機器人損壞，并加快抓取速度；利用深度強化學習的DQN，依據當前物體環境實時動態規劃動作語義，實現推和抓的結合，同時規劃出最適合抓取的方向，大大增加了機械臂抓取復雜環境的成功率。

技術領域

本發明涉及一種適用于密集環境下的機械臂推抓系統

背景技術

隨著經濟的發展和人口老齡化進程的加速，社會對實際可用行抓取機器人的需求日益增長。然而不同工業機器人在結構化環境下對工件的抓取，服務機器人將面臨多種情況，其中就包括如何在密集型環境中高效抓取所需目標。然而就目前已存的大多數抓取系統而言，大多數僅適用于物體間隔空隙較大的場景，在面對密集物體排布時，由于物體周圍沒有足夠的空間留給機械夾爪夾取物體，規劃抓取變得十分困難。M.R.Dogar等研究人員在2012年發表了A planning framework for nonprehensile manipulation under clutterand uncertainty，提出可以通過抓掃結合的方式解決密集環境抓取困難問題。但是通過手工調制的方法只能針對一種環境，魯棒性差，方法不可遷移。

近年來，隨著計算機性能的提高和大數據的發展，深度學習突破了以往存在的限制。在大數據和深層次網絡的前提下，基于深度神經網絡的系統表現出了良好的性能。S.Levine等研究人員在2016年發表了End-to-end training of deep visuomotorpolicies，設計了一種基于深度神經網絡的端到端機械臂推抓控制系統，該系統與M.R.Dogar等研究人員所提出的系統相比具有相對較好的泛化性。但是該系統由于將關節扭矩作為輸出，造成了極高的樣本復雜度，導致訓練時間長，系統代價昂貴問題。

發明內容

本發明對克服現有技術存在的上述問題，提供一種適用于密集環境下的機械臂推抓系統。

本發明主要采用仿真與實際相結合的方式。首先對模型進行仿真訓練，得到訓練完成的神經網絡參數并輸入給實際網絡；然后對機械臂進行標定；由深度照相機獲取彩色圖與深度圖并做一定的預處理分別得到一個彩色高度圖集和深度高度圖集；將彩色高度圖和深度高度圖輸入到特征提取網絡得到相應的特征張量；將特征張量輸入到推抓網絡得到相應的Q值圖；根據Q值圖得到動作和坐標點輸入給機械臂；最后機械臂根據指令執行動作。

本發明為解決現有技術問題所用的技術方案是：

一種適用于密集環境下的機械臂推抓系統，其特征在于：包括PC、彩色深度相機、機械臂，機械臂上裝有智能夾持器；PC上安裝的軟件端包括CoppliaSim仿真平臺；彩色深度相機通過USB與計算機相連接，機械臂通過局域網與PC連接；彩色深度相機獲取彩色RGB圖和深度圖；計算機執行機械臂控制程序；機械臂執行動作，智能夾持器抓取或推物塊；