[發(fā)明專利]一種基于ROS的非標(biāo)準(zhǔn)物體抓取方法及裝置

在審

• 申請?zhí)枺?/td>: 202011277622.0
• 申請日: 2020-11-16
• 公開（公告）號: CN112257293A
• 公開（公告）日: 2021-01-22
• 發(fā)明（設(shè)計）人: 姜文剛;劉建
• 申請（專利權(quán)）人: 江蘇科技大學(xué)
• 主分類號: G06F30/20
• 分類號: G06F30/20;G06T7/00;G06T7/13;G06N3/04
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 柏尚春

本發(fā)明公開了一種基于ROS的非標(biāo)準(zhǔn)物體抓取方法及裝置，在ROS中建立機(jī)械臂模型和仿真環(huán)境，將3Dnet訓(xùn)練集的模型和標(biāo)簽輸入搭建好的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行深度訓(xùn)練，得到概率預(yù)測模型；將物體置于工作區(qū)域，RGB?D相機(jī)獲取其深度圖片與彩色圖片；ROS對圖片進(jìn)行Laplace分割處理，分析其邊緣輪廓，計算并生成所有候選抓取姿態(tài)；利用神經(jīng)網(wǎng)絡(luò)訓(xùn)練出來的預(yù)測模型結(jié)合候選抓取姿態(tài),計算出每個姿態(tài)對應(yīng)的抓取成功概率，選擇概率最高的抓取姿態(tài)作為最佳抓取策略；對最佳抓取策略對應(yīng)的抓取坐標(biāo)進(jìn)行運(yùn)算，生成控制數(shù)據(jù)發(fā)送給機(jī)械臂硬件系統(tǒng)，實(shí)現(xiàn)對非標(biāo)準(zhǔn)物體的抓取，本發(fā)明實(shí)現(xiàn)了對未知的不規(guī)則物體進(jìn)行準(zhǔn)確建模和快速得到最優(yōu)抓取策略。

技術(shù)領(lǐng)域

本發(fā)明涉及自動化領(lǐng)域，特別涉及一種基于ROS的非標(biāo)準(zhǔn)物體抓取方法及裝置。

背景技術(shù)

在“德國工業(yè)4.0”、“中國制造2025”等國家層面的重大戰(zhàn)略下，工業(yè)制造和機(jī)器人行業(yè)正處于極大變革之中，工業(yè)機(jī)器人雖早已普及但僅限于固定程式和固定場合下作業(yè)。當(dāng)前世界已進(jìn)入人工智能的紀(jì)元，機(jī)器人需要和深度學(xué)習(xí)結(jié)合以適應(yīng)新的陌生環(huán)境并自主作業(yè)。

當(dāng)前對物體的抓取研究，更多的是在被抓取目標(biāo)是已知的情況下，提前建立抓取用數(shù)據(jù)庫，通過比對數(shù)據(jù)庫中已有的模型和狀態(tài)檢索出合適抓取方式來完成抓取規(guī)劃，這種方案無法用于抓取未知且不規(guī)則的物體。

發(fā)明內(nèi)容

發(fā)明目的：本發(fā)明的目的是提供一種基于ROS的非標(biāo)準(zhǔn)物體抓取方法，有效解決當(dāng)前機(jī)械臂只能抓取簡單規(guī)則物體或特定不規(guī)則物體的弊端，實(shí)現(xiàn)對未知的非標(biāo)準(zhǔn)物體進(jìn)行有效抓取。

技術(shù)方案：本發(fā)明所述的一種基于ROS的非標(biāo)準(zhǔn)物體抓取方法，包括以下步驟：

步驟1，在ROS中建立機(jī)械臂模型和仿真環(huán)境，將3Dnet訓(xùn)練集的模型和標(biāo)簽輸入搭建好的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行深度訓(xùn)練，得到概率預(yù)測模型；

步驟2，將物體置于工作區(qū)域，RGB-D相機(jī)獲取其深度圖片與彩色圖片；

步驟3，ROS對圖片進(jìn)行Laplace分割處理，分析其邊緣輪廓，計算并生成所有候選抓取姿態(tài)；

步驟4，利用神經(jīng)網(wǎng)絡(luò)訓(xùn)練出來的預(yù)測模型結(jié)合候選抓取姿態(tài),計算出每個姿態(tài)對應(yīng)的抓取成功概率，選擇概率最高的抓取姿態(tài)作為最佳抓取策略；

步驟5，對最佳抓取策略對應(yīng)的抓取坐標(biāo)進(jìn)行運(yùn)算，生成控制數(shù)據(jù)發(fā)送給機(jī)械臂硬件系統(tǒng)，實(shí)現(xiàn)對非標(biāo)準(zhǔn)物體的抓取。

進(jìn)一步的，在步驟1中，獲取3Dnet訓(xùn)練集模型的圖片，提取模型圖片中物體的邊緣像素點(diǎn)，其中a側(cè)是輪廓邊緣線的外側(cè)，b側(cè)為a側(cè)的反方向，用a、b點(diǎn)坐標(biāo)、物體幾何中心點(diǎn)和爪頭最大張合距離計算出a、b點(diǎn)是否合理，丟棄不合理的抓取點(diǎn)，生成所有合理抓取點(diǎn)的集合。

進(jìn)一步的，在步驟1中，用物體的幾何中心坐標(biāo)、表面摩擦系數(shù)和抓取點(diǎn)坐標(biāo)得到出手爪的抓取閉合率，其中閉合率大于設(shè)定閾值的組合置標(biāo)簽1，小于閾值的組合置標(biāo)簽0。

進(jìn)一步的，在步驟1中，以物體幾何中心為中心坐標(biāo)取32×32像素的深度圖片和對應(yīng)抓取點(diǎn)的組合作為神經(jīng)網(wǎng)絡(luò)的輸入，網(wǎng)絡(luò)輸出為此抓取點(diǎn)“能被成功抓取”的置信度，將網(wǎng)絡(luò)的輸出與該圖片對應(yīng)的標(biāo)簽作為控制網(wǎng)絡(luò)訓(xùn)練的成本函數(shù)，使神經(jīng)網(wǎng)絡(luò)能學(xué)習(xí)深度圖像和抓取點(diǎn)之間的關(guān)系。

進(jìn)一步的，在步驟3中，使用重要性采樣方法篩選掉其中三分之二的抓取點(diǎn)，保留三分之一的抓取點(diǎn)作為候選抓取姿態(tài)。

進(jìn)一步的，在步驟4中，將深度圖片和候選抓取姿態(tài)分別輸入在前期準(zhǔn)備階段已經(jīng)得到的預(yù)測模型，輸出是[0,1]之間的預(yù)測概率，對所有候選抓取姿態(tài)的預(yù)測概率使用argmaxS(X，u)函數(shù)，計算出概率最高者，其中argmax函數(shù)是求自變量集合的最大值，S是關(guān)于(深度圖片中)抓取坐標(biāo)X和爪頭位姿的函數(shù)。此概率最高者即是最優(yōu)抓取策略，即最佳抓取點(diǎn)的坐標(biāo)。