[發(fā)明專利]一種工件抓取和撥動(dòng)干預(yù)方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110582191.7
• 申請(qǐng)日: 2021-05-26
• 公開（公告）號(hào): CN113246130B
• 公開（公告）日: 2022-03-22
• 發(fā)明（設(shè)計(jì)）人: 徐剛;趙有港;肖江劍;許允款;曾晶
• 申請(qǐng)（專利權(quán)）人: 中國科學(xué)院寧波材料技術(shù)與工程研究所
• 主分類號(hào): B25J9/16
• 分類號(hào): B25J9/16;G06T7/00;G06T7/13;G06T7/66;G06T7/73
• 代理公司: 南京利豐知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 32256
• 代理人: 王鋒

1.一種工件抓取和撥動(dòng)干預(yù)方法，其特征在于包括：

S1,獲取堆疊場(chǎng)景中工件的圖像信息，所述圖像信息包括2D圖像和3D圖像；

S2,根據(jù)所述圖像信息對(duì)工件進(jìn)行識(shí)別，獲取堆疊場(chǎng)景中可抓取的候選工件數(shù)量；

S3,若所述候選工件數(shù)量≤設(shè)定值時(shí)，則觸發(fā)撥動(dòng)干預(yù)策略對(duì)堆疊工件進(jìn)行撥動(dòng)動(dòng)作，所述撥動(dòng)干預(yù)策略包括：

S31,對(duì)2D圖像進(jìn)行處理，在X-Y二維平面內(nèi)生成撥動(dòng)軌跡，具體包括：

S311，基于Sobel函數(shù)的邊緣檢測(cè)，對(duì)2D圖像進(jìn)行預(yù)處理；

S312，基于Harris檢測(cè)算法，對(duì)預(yù)處理后的2D圖像進(jìn)行角點(diǎn)檢測(cè)；

S313，對(duì)角點(diǎn)檢測(cè)后的2D圖像進(jìn)行n²格網(wǎng)格的特征空間區(qū)域劃分，并基于均值漂移算法，在劃分的區(qū)域內(nèi)，反復(fù)迭代尋找樣本點(diǎn)最密集的區(qū)域，形成中心點(diǎn)集及相應(yīng)的n²類分組，其中，n為大于等于1的自然數(shù)；

S314，將中心點(diǎn)集中的各點(diǎn)，通過直線段按序依次連接，形成直線軌跡，并基于貝塞爾公式對(duì)所述直線軌跡進(jìn)行優(yōu)化，在X-Y二維平面內(nèi)生成撥動(dòng)軌跡；

S32,由3D圖像獲取到工件的3D點(diǎn)云數(shù)據(jù)，根據(jù)每個(gè)3D點(diǎn)云數(shù)據(jù)在Z軸的坐標(biāo)信息排序，選取機(jī)器臂的撥動(dòng)深度；

S33,控制機(jī)器臂在所述撥動(dòng)深度下，基于所述撥動(dòng)軌跡對(duì)工件進(jìn)行所述撥動(dòng)動(dòng)作；

S4,重復(fù)步驟S2、S3，直至候選工件數(shù)量≥設(shè)定值+1，則進(jìn)行可抓取的候選工件的抓取作業(yè)。

2.根據(jù)權(quán)利要求1所述的工件抓取和撥動(dòng)干預(yù)方法，其特征在于，所述S1包括：采用2D相機(jī)對(duì)堆疊場(chǎng)景中工件進(jìn)行拍照，獲得所述2D圖像，及采用3D相機(jī)對(duì)堆疊場(chǎng)景中工件進(jìn)行拍照，獲得所述3D圖像。

3.根據(jù)權(quán)利要求1所述的工件抓取和撥動(dòng)干預(yù)方法，其特征在于，所述S2包括：

S21，對(duì)工件進(jìn)行識(shí)別，記錄識(shí)別出的識(shí)別工件數(shù)量，并獲取工件位姿信息；

S22，對(duì)識(shí)別出的工件進(jìn)行碰撞檢測(cè)，剔除重疊率大于設(shè)定百分比的工件，得到堆疊場(chǎng)景中可抓取的所述候選工件數(shù)量。

4.根據(jù)權(quán)利要求3所述的工件抓取和撥動(dòng)干預(yù)方法，其特征在于，所述S21包括：由所述圖像信息獲取到工件的3D點(diǎn)云數(shù)據(jù)，基于點(diǎn)云匹配算法對(duì)工件進(jìn)行識(shí)別，記錄識(shí)別出的識(shí)別工件數(shù)量，并通過6D位姿估計(jì)算法獲取工件位姿信息。

5.根據(jù)權(quán)利要求3所述的工件抓取和撥動(dòng)干預(yù)方法，其特征在于，所述S22包括：先基于碰撞檢測(cè)算法對(duì)識(shí)別出的工件與工件之間進(jìn)行碰撞檢測(cè)，然后對(duì)識(shí)別出的工件和機(jī)器人夾爪之間進(jìn)行碰撞測(cè)試，剔除重疊率大于20%的工件，得到堆疊場(chǎng)景中可抓取的所述候選工件數(shù)量。

6.一種工件抓取和撥動(dòng)干預(yù)系統(tǒng)，其特征在于包括：

圖像獲取裝置，用于獲取堆疊場(chǎng)景中工件的圖像信息，所述圖像信息包括2D圖像和3D圖像；

工件識(shí)別裝置，用于根據(jù)所述圖像信息對(duì)工件進(jìn)行識(shí)別，獲取堆疊場(chǎng)景中可抓取的候選工件數(shù)量；

撥動(dòng)干預(yù)策略觸發(fā)裝置，用于在所述候選工件數(shù)量≤設(shè)定值時(shí)，觸發(fā)撥動(dòng)干預(yù)策略對(duì)堆疊工件進(jìn)行撥動(dòng)動(dòng)作，所述撥動(dòng)干預(yù)策略包括：

S31,對(duì)2D圖像進(jìn)行處理，在X-Y二維平面內(nèi)生成撥動(dòng)軌跡，具體包括：

S311，基于Sobel函數(shù)的邊緣檢測(cè)，對(duì)2D圖像進(jìn)行預(yù)處理；

S312，基于Harris檢測(cè)算法，對(duì)預(yù)處理后的2D圖像進(jìn)行角點(diǎn)檢測(cè)；

S313，對(duì)角點(diǎn)檢測(cè)后的2D圖像進(jìn)行n²格網(wǎng)格的特征空間區(qū)域劃分，并基于均值漂移算法，在劃分的區(qū)域內(nèi)，反復(fù)迭代尋找樣本點(diǎn)最密集的區(qū)域，形成中心點(diǎn)集及相應(yīng)的n²類分組，其中，n為大于等于1的自然數(shù)；

S314，將中心點(diǎn)集中的各點(diǎn)，通過直線段按序依次連接，形成直線軌跡，并基于貝塞爾公式對(duì)所述直線軌跡進(jìn)行優(yōu)化，在X-Y二維平面內(nèi)生成撥動(dòng)軌跡；

S32,由3D圖像獲取到工件的3D點(diǎn)云數(shù)據(jù)，根據(jù)每個(gè)3D點(diǎn)云數(shù)據(jù)在Z軸的坐標(biāo)信息排序，選取機(jī)器臂的撥動(dòng)深度；

S33,控制機(jī)器臂在所述撥動(dòng)深度下，基于所述撥動(dòng)軌跡對(duì)工件進(jìn)行所述撥動(dòng)動(dòng)作；

工件抓取裝置，用于在候選工件數(shù)量≥設(shè)定值+1，進(jìn)行可抓取的候選工件的抓取作業(yè)。