[發(fā)明專利]基于深度學(xué)習(xí)圖像分割技術(shù)的手眼伺服機(jī)器人抓取系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710278748.1
• 申請(qǐng)日: 2017-04-25
• 公開（公告）號(hào): CN107186708B
• 公開（公告）日: 2020-05-12
• 發(fā)明（設(shè)計(jì)）人: 趙烈
• 申請(qǐng)（專利權(quán)）人: 珠海智卓投資管理有限公司
• 主分類號(hào): B25J9/16
• 分類號(hào): B25J9/16
• 代理公司: 武漢今天智匯專利代理事務(wù)所(普通合伙) 42228
• 代理人: 鄧寅杰

1.基于深度學(xué)習(xí)圖像分割技術(shù)的手眼伺服機(jī)器人抓取方法，其特征在于，其步驟包括：

1)離線利用深度學(xué)習(xí)方法對(duì)數(shù)據(jù)庫中圖像進(jìn)行特征提取，其提取的特征用于在線圖像分割與目標(biāo)識(shí)別；

2)嵌入式PC機(jī)觸發(fā)立體視覺傳感器對(duì)場(chǎng)景的RGB圖像和點(diǎn)云數(shù)據(jù)進(jìn)行采集，利用RGB圖像、點(diǎn)云數(shù)據(jù)和手眼標(biāo)定算法實(shí)現(xiàn)手眼標(biāo)定，計(jì)算安裝于多軸機(jī)械臂上方的立體視覺傳感器到多軸機(jī)械臂基坐標(biāo)系的轉(zhuǎn)移矩陣；

3)目標(biāo)物的在線全局粗識(shí)別定位：利用步驟1)離線提取的特征對(duì)RGB圖像進(jìn)行預(yù)分割，對(duì)預(yù)分割區(qū)域進(jìn)行區(qū)域合并，得到目標(biāo)物的準(zhǔn)確分割結(jié)果，提取目標(biāo)物的點(diǎn)云數(shù)據(jù)，從而得到目標(biāo)物的位置和姿態(tài)；通過步驟2)中得出的轉(zhuǎn)移矩陣將目標(biāo)物坐標(biāo)及姿態(tài)轉(zhuǎn)為多軸機(jī)械臂基坐標(biāo)系下的坐標(biāo)及姿態(tài)，然后對(duì)多軸機(jī)械臂的運(yùn)動(dòng)軌跡進(jìn)行規(guī)劃，控制多軸機(jī)械臂到達(dá)與目標(biāo)物一定距離的待抓取位置；

4)目標(biāo)物的在線局部精確定位：首先利用多軸機(jī)械臂末端關(guān)節(jié)處的彩色網(wǎng)絡(luò)攝像頭近距離采集目標(biāo)物圖像，用分水嶺方法對(duì)目標(biāo)物圖像進(jìn)行處理，得出手抓中心線與目標(biāo)物中心線的左右偏移量，控制多軸機(jī)械臂運(yùn)動(dòng)，使手抓中心對(duì)齊目標(biāo)物的中心位置；然后利用手抓位置處的單點(diǎn)激光測(cè)距傳感器準(zhǔn)確測(cè)量手抓到目標(biāo)物的垂直距離；

5)多軸機(jī)械臂末端手抓對(duì)目標(biāo)物進(jìn)行準(zhǔn)確抓取。

2.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)圖像分割技術(shù)的手眼伺服機(jī)器人抓取方法，其特征在于：所述步驟3)中的得到目標(biāo)物的準(zhǔn)確分割結(jié)果的具體過程為：利用深度學(xué)習(xí)方法提取的特征對(duì)采集的圖像進(jìn)行預(yù)分割，設(shè)圖像被預(yù)分割為N個(gè)區(qū)域，分別用U₁,U₂,…,U_N表示；根據(jù)場(chǎng)景點(diǎn)云數(shù)據(jù)特性，空間目標(biāo)物表面的點(diǎn)云數(shù)據(jù)分布可由二次曲面得到較準(zhǔn)確擬合，令函數(shù)f(a₁,a₂，…，a₁₀)表示歐式空間二次曲面，

f(a₁，a₂，…，a₁₀)＝a₁x²+a₂y²+a₃z²+a₄xy+a₅xz+a₆yz+a₇x+a₈y+a₉z+a₁₀

記由多項(xiàng)式系數(shù)構(gòu)成的向量為a＝(a₁，a₂，…，a₁₀)；

針對(duì)預(yù)分割區(qū)域U_k(k＝1,2,…,N)，設(shè)

其中，(x_i,y_i,z_i)(i＝1,2,…,N_k)是對(duì)應(yīng)區(qū)域U_k上的點(diǎn)云數(shù)據(jù)，N_k是區(qū)域中點(diǎn)云數(shù)，利用最小二乘方法計(jì)算其點(diǎn)云數(shù)據(jù)構(gòu)成的二次曲面方程，令

得

Ma'＝0

其中，

通過矩陣運(yùn)算求解線性方程可得到區(qū)域U_k的二次曲面方程系數(shù)構(gòu)成的向量a^k，依據(jù)經(jīng)驗(yàn)設(shè)定閾值d₀，計(jì)算預(yù)分割區(qū)域U_k(k＝1,2,…,N)任意兩區(qū)域U_k,U_l的系數(shù)向量的歐式距離d_kl，

d_kl＝||a^k-a^l||

將d_kl＜d₀且U_k,U_l相鄰的區(qū)域進(jìn)行合并，得到目標(biāo)物的最終準(zhǔn)確分割結(jié)果。