[發(fā)明專利]一種機(jī)器人動態(tài)抓取方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201711116918.2
• 申請日: 2017-11-13
• 公開（公告）號: CN107992881A
• 公開（公告）日: 2018-05-04
• 發(fā)明（設(shè)計）人: 李友浩;張弓;王衛(wèi)軍;韓彰秀;蔡君義
• 申請（專利權(quán)）人: 廣州中國科學(xué)院先進(jìn)技術(shù)研究所;深圳市中科德睿智能科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06T7/80;B25J9/16
• 代理公司: 廣州番禺容大專利代理事務(wù)所(普通合伙)44326
• 代理人: 劉新年,潘素云

1.一種機(jī)器人動態(tài)抓取方法，其特征在于，包括如下步驟：

S1、實時接收工業(yè)相機(jī)傳輸而來的采集圖像，并對所得圖像進(jìn)行預(yù)處理；

S2、利用基于多線索的模板跟蹤算法確定前景目標(biāo)區(qū)域；

S3、采用基于邊緣梯度的模板匹配算法對前景目標(biāo)進(jìn)行精確識別；

S4、采用隨機(jī)采樣一致性算法對視場內(nèi)該物體的運動信息建模；

S5、結(jié)合攝像機(jī)標(biāo)定及手眼標(biāo)定參數(shù)，實時反饋給機(jī)器人進(jìn)行動態(tài)抓取。

2.根據(jù)權(quán)利要求1所述的機(jī)器人動態(tài)抓取方法，其特征在于，步驟S1中，對所得圖像進(jìn)行預(yù)處理包括圖像去噪及建立圖像金字塔。

3.根據(jù)權(quán)利要求1所述的機(jī)器人動態(tài)抓取方法，其特征在于，步驟S2具體包括：

對采集圖像金字塔的頂端圖像，進(jìn)行多線索碼本模型的建模，“多線索”具體指圖像區(qū)域紋理、色彩、區(qū)域輪廓距、區(qū)域面積特征的線索；先由紋理線索的碼本模型建立候選區(qū)域，再經(jīng)色彩、輪廓距及區(qū)域面積特征等線索依次對候選區(qū)域進(jìn)行篩選；最終得到前景目標(biāo)區(qū)域。

4.根據(jù)權(quán)利要求1所述的機(jī)器人動態(tài)抓取方法，其特征在于，步驟S3具體包括：

首先對各待抓取物體建立模板圖像；其次對每一種模板圖像，建立圖像金字塔；然后對金字塔的每一層，利用邊緣梯度算子建立基于邊緣梯度的歸一化特征，并對歸一化特征進(jìn)行旋轉(zhuǎn)建模；執(zhí)行模板匹配算法時，從特征金字塔的頂端自上而下對采集圖像的前景目標(biāo)區(qū)域進(jìn)行匹配，得到特定種類物體的圖像位置；所述邊緣梯度算子包括Canny算子和Sobel算子。

5.根據(jù)權(quán)利要求1所述的機(jī)器人動態(tài)抓取方法，其特征在于，步驟S4具體包括：

工業(yè)分揀流水線上，隨機(jī)采樣一致性算法的輸入是一組觀測數(shù)據(jù)，包括待抓取物體的種類及相應(yīng)運動時刻所處的位置，傳送帶的抖動及視覺識別的誤差是觀測數(shù)據(jù)中的“局外點”，隨機(jī)采樣一致性算法可以從一組包含“局外點”的觀測數(shù)據(jù)集中，反復(fù)選擇數(shù)據(jù)中的一組隨機(jī)子集，通過迭代方式得到物體運動模型的正確參數(shù)。

6.一種機(jī)器人動態(tài)抓取系統(tǒng)，其特征在于，包括依次連接的圖像采集預(yù)處理模塊、多線索目標(biāo)跟蹤模塊、目標(biāo)識別精確定位模塊、運動信息建模模塊以及機(jī)器人動態(tài)抓取模塊；

所述圖像采集預(yù)處理模塊用于實時接收工業(yè)相機(jī)傳輸而來的采集圖像，并對所得圖像進(jìn)行預(yù)處理；

所述多線索目標(biāo)跟蹤模塊用于利用基于多線索的模板跟蹤算法確定前景目標(biāo)區(qū)域；

所述目標(biāo)識別精確定位模塊用于采用基于邊緣梯度的模板匹配算法對前景目標(biāo)進(jìn)行精確識別；

所述運動信息建模模塊用于采用隨機(jī)采樣一致性算法對視場內(nèi)該物體的運動信息建模；

所述機(jī)器人動態(tài)抓取模塊用于結(jié)合攝像機(jī)標(biāo)定及手眼標(biāo)定參數(shù)，實時反饋給機(jī)器人進(jìn)行動態(tài)抓取。

7.根據(jù)權(quán)利要求6所述的機(jī)器人動態(tài)抓取系統(tǒng)，其特征在于，對所得圖像進(jìn)行預(yù)處理包括圖像去噪及建立圖像金字塔。

8.根據(jù)權(quán)利要求6所述的機(jī)器人動態(tài)抓取系統(tǒng)，其特征在于，所述多線索的模板跟蹤算法具體為：

對采集圖像金字塔的頂端圖像，進(jìn)行多線索碼本模型的建模，“多線索”具體指圖像區(qū)域紋理、色彩、區(qū)域輪廓距、區(qū)域面積特征的線索；先由紋理線索的碼本模型建立候選區(qū)域，再經(jīng)色彩、輪廓距及區(qū)域面積特征等線索依次對候選區(qū)域進(jìn)行篩選；最終得到前景目標(biāo)區(qū)域。

9.根據(jù)權(quán)利要求6所述的機(jī)器人動態(tài)抓取系統(tǒng)，其特征在于，邊緣梯度的模板匹配算法具體為：

首先對各待抓取物體建立模板圖像；其次對每一種模板圖像，建立圖像金字塔；然后對金字塔的每一層，利用邊緣梯度算子建立基于邊緣梯度的歸一化特征，并對歸一化特征進(jìn)行旋轉(zhuǎn)建模；執(zhí)行模板匹配算法時，從特征金字塔的頂端自上而下對采集圖像的前景目標(biāo)區(qū)域進(jìn)行匹配，得到特定種類物體的圖像位置；所述邊緣梯度算子包括Canny算子和Sobel算子。

10.根據(jù)權(quán)利要求6所述的機(jī)器人動態(tài)抓取系統(tǒng)，其特征在于，隨機(jī)采樣一致性算法具體為：

工業(yè)分揀流水線上，隨機(jī)采樣一致性算法的輸入是一組觀測數(shù)據(jù)，包括待抓取物體的種類及相應(yīng)運動時刻所處的位置，傳送帶的抖動及視覺識別的誤差是觀測數(shù)據(jù)中的“局外點”，隨機(jī)采樣一致性算法可以從一組包含“局外點”的觀測數(shù)據(jù)集中，反復(fù)選擇數(shù)據(jù)中的一組隨機(jī)子集，通過迭代方式得到物體運動模型的正確參數(shù)。