[發(fā)明專利]一種基于視覺機(jī)械臂抓取工件方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210922342.3
• 申請(qǐng)日: 2022-08-02
• 公開（公告）號(hào): CN115319739A
• 公開（公告）日: 2022-11-11
• 發(fā)明（設(shè)計(jì)）人: 駱海濤;高鵬宇;孫嘉澤;曹軒;孔祥峰
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院沈陽自動(dòng)化研究所
• 主分類號(hào): B25J9/16
• 分類號(hào): B25J9/16;B25J19/00
• 代理公司: 沈陽科苑專利商標(biāo)代理有限公司 21002
• 代理人: 周宇

本發(fā)明公開了一種基于視覺機(jī)械臂抓取工件方法，包括以下步驟：步驟1、拍攝圖像，輸入YOLOV5網(wǎng)絡(luò)進(jìn)行目標(biāo)識(shí)別，定位待抓取目標(biāo)工件；步驟2、利用ggcnn2網(wǎng)絡(luò)模型計(jì)算抓取點(diǎn)，輸出目標(biāo)工件的像素抓取信息；步驟3、根據(jù)像素抓取信息和手眼變換矩陣，計(jì)算機(jī)械臂末端的實(shí)際抓取位姿；步驟4、控制機(jī)械臂按照抓取位姿對(duì)目標(biāo)工件進(jìn)行抓取。本發(fā)明可以實(shí)現(xiàn)基于視覺的機(jī)械臂抓取工件。

技術(shù)領(lǐng)域

本發(fā)明涉及屬于機(jī)器視覺和運(yùn)動(dòng)控制領(lǐng)域，具體地說是一種基于視覺機(jī)械臂抓取工件方法。

背景技術(shù)

平面抓取檢測(cè)的任務(wù)是，輸入感知數(shù)據(jù)，輸出抓取配置。在目標(biāo)檢測(cè)領(lǐng)域中，分為單階段檢測(cè)模型和兩階段檢測(cè)模型，兩階段檢測(cè)模型代表有R-CNN，F(xiàn)ast-RCNN，兩階段需要先提取候選框，再去進(jìn)行分類或回歸，檢測(cè)過程慢且提取的候選框只是圖像中的一小部分，丟失了很多重要信息。選用yolov5單階段目標(biāo)檢測(cè)算法不提取候選框，直接把全圖輸入到模型，直接輸出目標(biāo)檢測(cè)的結(jié)果，對(duì)小目標(biāo)的檢測(cè)能力更強(qiáng)，算法性能高，運(yùn)算量小，更高效的利用GPU，實(shí)現(xiàn)了精度和速度的權(quán)衡。在現(xiàn)有抓取算法中分為數(shù)據(jù)法和經(jīng)驗(yàn)法，數(shù)據(jù)法只適用于已知物體，適用范圍小。經(jīng)驗(yàn)法，即深度學(xué)習(xí)方法，可適用于未知物體，應(yīng)用廣泛，選用GGCNN2深度學(xué)習(xí)抓取檢測(cè)算法，預(yù)測(cè)參數(shù)少，預(yù)測(cè)難度較低，抓取位姿的可選擇范圍小。機(jī)器人可以根據(jù)視覺感知，實(shí)時(shí)動(dòng)態(tài)地調(diào)整自身的運(yùn)動(dòng)行為，最后機(jī)器人根據(jù)視覺反饋實(shí)時(shí)調(diào)整末端夾爪姿態(tài)，保證成功抓取目標(biāo)物體?；谏鲜霰尘?，主要討論了基于視覺的機(jī)械臂抓取控制以Kinova_jaco2_j2n6s300輕量型協(xié)作機(jī)械臂為研究對(duì)象，研究其在物體抓取過程中的，目標(biāo)識(shí)別與抓取點(diǎn)檢測(cè)，包括工控機(jī)主控制系統(tǒng)、視覺系統(tǒng)和抓取系統(tǒng)。

發(fā)明內(nèi)容

為克服上述技術(shù)問題，本發(fā)明提出單階段yolov5目標(biāo)檢測(cè)算法，GGCNN2深度學(xué)習(xí)抓取點(diǎn)檢測(cè)算法，通過工控機(jī)操作機(jī)械臂實(shí)現(xiàn)視覺抓取的目的。

本發(fā)明為實(shí)現(xiàn)上述目的所采用的技術(shù)方案是：一種基于視覺機(jī)械臂抓取工件方法，包括以下步驟：

步驟1、拍攝圖像，輸入YOLOV5網(wǎng)絡(luò)進(jìn)行目標(biāo)識(shí)別，定位待抓取目標(biāo)工件；

步驟2、利用ggcnn2網(wǎng)絡(luò)模型計(jì)算抓取點(diǎn)，輸出目標(biāo)工件的像素抓取信息；

步驟3、根據(jù)像素抓取信息和手眼變換矩陣，計(jì)算機(jī)械臂末端的實(shí)際抓取位姿；

步驟4、控制機(jī)械臂按照抓取位姿對(duì)目標(biāo)工件進(jìn)行抓取。

所述YOLOV5網(wǎng)絡(luò)為預(yù)先訓(xùn)練好的網(wǎng)絡(luò)結(jié)構(gòu)，訓(xùn)練步驟包括：

步驟1.1、拍攝多張目標(biāo)圖像，進(jìn)行定位標(biāo)注，獲取被標(biāo)注的圖像及定位標(biāo)簽信息；

步驟1.2、對(duì)目標(biāo)圖像進(jìn)行剪裁和數(shù)據(jù)增強(qiáng)，制作定位數(shù)據(jù)集；

步驟1.3、將定位數(shù)據(jù)集中的圖像和定位標(biāo)簽信息輸入YOLOV5網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練網(wǎng)絡(luò)權(quán)重參數(shù)，獲取優(yōu)化的YOLOV5網(wǎng)絡(luò)，所述該網(wǎng)絡(luò)用于對(duì)未知目標(biāo)進(jìn)行框選定位和類別識(shí)別。

所述定位標(biāo)注為：

a.在圖像上框選標(biāo)畫出目標(biāo)物體的外接輪廓；

b.備注定位標(biāo)簽信息：當(dāng)前目標(biāo)工件物體的類別名稱。

所述ggcnn2網(wǎng)絡(luò)模型為預(yù)先訓(xùn)練好的網(wǎng)絡(luò)結(jié)構(gòu)，訓(xùn)練步驟包括：

步驟2.1、拍攝多張待抓取目標(biāo)工件圖像，進(jìn)行人工抓取點(diǎn)標(biāo)注，獲取被抓取標(biāo)注的圖像及抓取標(biāo)簽信息；

步驟2.2、對(duì)目標(biāo)圖像進(jìn)行剪裁和歸一化處理，制作抓取數(shù)據(jù)集；

步驟2.3、將數(shù)據(jù)集中的圖像和標(biāo)簽信息輸入ggcnn2網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，訓(xùn)練網(wǎng)絡(luò)權(quán)重參數(shù)，獲取優(yōu)化的ggcnn2網(wǎng)絡(luò)模型，所述該網(wǎng)絡(luò)用于對(duì)未知的待抓取目標(biāo)，計(jì)算符合置信度要求的抓取點(diǎn)，并標(biāo)注像素抓取信息。