[發(fā)明專利]一種基于ROS的非標(biāo)準(zhǔn)物體抓取方法及裝置

在審

• 申請?zhí)枺?/td>: 202011277622.0
• 申請日: 2020-11-16
• 公開（公告）號: CN112257293A
• 公開（公告）日: 2021-01-22
• 發(fā)明（設(shè)計）人: 姜文剛;劉建
• 申請（專利權(quán)）人: 江蘇科技大學(xué)
• 主分類號: G06F30/20
• 分類號: G06F30/20;G06T7/00;G06T7/13;G06N3/04
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 柏尚春

1.一種基于ROS的非標(biāo)準(zhǔn)物體抓取方法，其特征在于包括以下步驟：

步驟1，在ROS中建立機(jī)械臂模型和仿真環(huán)境，將3Dnet訓(xùn)練集的模型和標(biāo)簽輸入搭建好的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行深度訓(xùn)練，得到概率預(yù)測模型；

步驟2，將物體置于工作區(qū)域，RGB-D相機(jī)獲取其深度圖片與彩色圖片；

步驟3，ROS對圖片進(jìn)行Laplace分割處理，分析其邊緣輪廓，計算并生成所有候選抓取姿態(tài)；

步驟4，利用神經(jīng)網(wǎng)絡(luò)訓(xùn)練出來的預(yù)測模型結(jié)合候選抓取姿態(tài),計算出每個姿態(tài)對應(yīng)的抓取成功概率，選擇概率最高的抓取姿態(tài)作為最佳抓取策略；

步驟5，對最佳抓取策略對應(yīng)的抓取坐標(biāo)進(jìn)行運算，生成控制數(shù)據(jù)發(fā)送給機(jī)械臂硬件系統(tǒng)，實現(xiàn)對非標(biāo)準(zhǔn)物體的抓取。

2.根據(jù)權(quán)利要求1所述的一種基于ROS的非標(biāo)準(zhǔn)物體抓取方法，其特征在于在步驟1中，獲取3Dnet訓(xùn)練集模型的圖片，提取模型圖片中物體的邊緣像素點，其中a側(cè)是輪廓邊緣線的外側(cè)，b側(cè)為a側(cè)的反方向，用a、b點坐標(biāo)、物體幾何中心點和爪頭最大張合距離計算出a、b點是否合理，丟棄不合理的抓取點，生成所有合理抓取點的集合。

3.根據(jù)權(quán)利要求1所述的一種基于ROS的非標(biāo)準(zhǔn)物體抓取方法，其特征在于在步驟1中，用物體的幾何中心坐標(biāo)、表面摩擦系數(shù)和抓取點坐標(biāo)得到出手爪的抓取閉合率，其中閉合率大于設(shè)定閾值的組合置標(biāo)簽1，小于閾值的組合置標(biāo)簽0。

4.根據(jù)權(quán)利要求1所述的一種基于ROS的非標(biāo)準(zhǔn)物體抓取方法，其特征在于在步驟1中，以物體幾何中心為中心坐標(biāo)取32×32像素的深度圖片和對應(yīng)抓取點的組合作為神經(jīng)網(wǎng)絡(luò)的輸入，網(wǎng)絡(luò)輸出為此抓取點“能被成功抓取”的置信度，將網(wǎng)絡(luò)的輸出與該圖片對應(yīng)的標(biāo)簽作為控制網(wǎng)絡(luò)訓(xùn)練的成本函數(shù)，使神經(jīng)網(wǎng)絡(luò)能學(xué)習(xí)深度圖像和抓取點之間的關(guān)系。

5.根據(jù)權(quán)利要求1所述的一種基于ROS的非標(biāo)準(zhǔn)物體抓取方法，其特征在于在步驟3中，使用重要性采樣方法篩選掉其中三分之二的抓取點，保留三分之一的抓取點作為候選抓取姿態(tài)。

6.根據(jù)權(quán)利要求1所述的一種基于ROS的非標(biāo)準(zhǔn)物體抓取方法，其特征在于在步驟4中，將深度圖片和候選抓取姿態(tài)分別輸入在前期準(zhǔn)備階段已經(jīng)得到的預(yù)測模型，輸出是[0,1]之間的預(yù)測概率，對所有候選抓取姿態(tài)的預(yù)測概率使用argmaxS(X，u)函數(shù)，計算出概率最高者，其中argmax函數(shù)是求自變量集合的最大值，S是關(guān)于(深度圖片中)抓取坐標(biāo)X和爪頭位姿的函數(shù)。此概率最高者即是最優(yōu)抓取策略，即最佳抓取點的坐標(biāo)。

7.根據(jù)權(quán)利要求1所述的一種基于ROS的非標(biāo)準(zhǔn)物體抓取方法，其特征在于在步驟5中，將步驟4中得到的坐標(biāo)作為RRT路徑規(guī)劃的輸入，輸出是一系列機(jī)械臂運動的目標(biāo)點坐標(biāo)數(shù)據(jù)，RRT路徑規(guī)劃讓機(jī)械臂高效地避開障礙從初始點運動到目標(biāo)點。

8.根據(jù)權(quán)利要求1所述的一種基于ROS的非標(biāo)準(zhǔn)物體抓取裝置，其特征在于包括核心控制板和舵機(jī)驅(qū)動板，ROS控制系統(tǒng)將RRT路徑規(guī)劃輸出的坐標(biāo)數(shù)據(jù)通過串口發(fā)送到核心控制板；核心控制板計算并生成一系列針對機(jī)械臂運動的控制指令和控制數(shù)據(jù)，發(fā)送給舵機(jī)驅(qū)動板；舵機(jī)驅(qū)動板驅(qū)動機(jī)械臂執(zhí)行相應(yīng)指令，完成相應(yīng)的一套完整的抓取動作。

9.根據(jù)權(quán)利要求8所述的一種基于ROS的非標(biāo)準(zhǔn)物體抓取裝置，其特征在于核心控制板為STM32控制器。