[發(fā)明專利]一種基于多模態(tài)視覺信息融合的機(jī)器人抓取檢測方法

在審

• 申請?zhí)枺?/td>: 202211212605.8
• 申請日: 2022-09-30
• 公開（公告）號: CN115861999A
• 公開（公告）日: 2023-03-28
• 發(fā)明（設(shè)計）人: 高劍;郭靖偉;陳依民;李宇豐;張昊哲;楊旭博;張福斌
• 申請（專利權(quán)）人: 西北工業(yè)大學(xué)
• 主分類號: G06V20/64
• 分類號: G06V20/64;G06V10/764;G06V10/82;G06V10/80;G06V10/42;G06V10/44;B25J9/16
• 代理公司: 西安凱多思知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61290
• 代理人: 劉新瓊

本發(fā)明涉及一種基于多模態(tài)視覺信息融合的機(jī)器人抓取檢測方法，包括：通過深度相機(jī)獲取RGB圖像和深度圖像；利用深度學(xué)習(xí)YOLO檢測目標(biāo)物體的外接矩形框；結(jié)合深度圖像獲取目標(biāo)物體的包圍盒；分割提取目標(biāo)物體的點云；對點云進(jìn)行處理，先后進(jìn)行降采樣，點云濾波和點云聚類操作；計算目標(biāo)點云的質(zhì)心并利用PCA算法計算主成分方向；對目標(biāo)點云進(jìn)行隨機(jī)均勻采樣，生成候選抓取姿態(tài)；將抓握候選內(nèi)部點云編碼多通道圖像，使用卷積神經(jīng)網(wǎng)絡(luò)預(yù)測分?jǐn)?shù)；融合全局點云信息和局部點云信息，通過加權(quán)求和選出質(zhì)量最高的抓取姿態(tài)作為執(zhí)行位姿。該方法充分利用彩色圖像，深度圖像和以及目標(biāo)物體點云的全局與局部信息，提高了機(jī)械臂與環(huán)境的交互能力。

技術(shù)領(lǐng)域

本發(fā)明屬于機(jī)器人目標(biāo)物體抓取技術(shù)領(lǐng)域，具體是基于圖像與點云視覺信息融合的抓取姿態(tài)檢測方法。

背景技術(shù)

隨著人工智能的發(fā)展，機(jī)器人在工業(yè)與服務(wù)業(yè)領(lǐng)域得到廣泛應(yīng)用。其中，機(jī)器人的抓取操作發(fā)揮著重要的作用，有效避免人類繁多的取放任務(wù)。相比于以往對固定物體的抓取或者固定位置的抓取，機(jī)器人自主準(zhǔn)確完成抓取指定物體有著重大意義。其關(guān)鍵在于自主作業(yè)時需要知道場景存在的物體，以及如何在不同的視覺信息下檢測抓取姿態(tài)。因此，目標(biāo)識別和抓取姿態(tài)估計是機(jī)器人領(lǐng)域的研究熱點。

深度學(xué)習(xí)技術(shù)是目標(biāo)識別與抓取姿態(tài)估計方向的重要技術(shù)方法。YOLO作為實時性單階段目標(biāo)檢測網(wǎng)絡(luò)，在機(jī)器人視覺檢測領(lǐng)域得到廣泛應(yīng)用。而對于6DoF抓取位姿檢測，傳統(tǒng)的抓取位姿估計方法基于已知CAD模型的物體位姿生成抓取姿態(tài)，而實際情況中物體不易獲取精確的模型。目前，無模型的抓取姿態(tài)檢測流程是先采樣生成抓取候選再進(jìn)行評價。例如基于點云的抓取姿態(tài)生成網(wǎng)絡(luò)如(A.ten Pas,M.Gualtieri,K.Saenko,and R.Platt,“Grasp pose detection in point clouds,”The International Journal of RoboticsResearch(IJRR),2017)，此種方法直接根據(jù)抓取閉合內(nèi)部點云判斷抓取質(zhì)量，優(yōu)點是極大降低了數(shù)據(jù)量，泛化性強(qiáng)，但由于沒有充分利用物體的全局點云信息，無法生成穩(wěn)定的抓取，同時沒有獲知抓取物體的種類信息，無法直接應(yīng)用在復(fù)雜的場景中。圖像和點云視覺信息特征的融合提取是機(jī)器人自主作業(yè)重中之重。

發(fā)明內(nèi)容

要解決的技術(shù)問題

為了避免現(xiàn)有技術(shù)的不足之處，本發(fā)明提供一種基于多模態(tài)視覺信息融合的機(jī)器人抓取檢測方法，該方法可以實現(xiàn)在復(fù)雜環(huán)境下指定目標(biāo)物體的穩(wěn)定抓取姿態(tài)生成，充分利用彩色圖像，深度圖像和以及目標(biāo)物體點云的全局與局部信息，提高了機(jī)械臂與環(huán)境的交互能力。

技術(shù)方案

一種基于多模態(tài)視覺信息融合的機(jī)器人抓取檢測方法，其特征在于步驟如下：

步驟1：通過深度相機(jī)獲取含有目標(biāo)物體的RGB圖像和深度圖像；

步驟2：利用深度學(xué)習(xí)YOLO網(wǎng)絡(luò)檢測RGB圖像中目標(biāo)物體的外接矩形框；

步驟3：利用矩形框?qū)?yīng)的深度信息獲取目標(biāo)物體的在相機(jī)坐標(biāo)系下的包圍盒的三維坐標(biāo)；

步驟4：根據(jù)目標(biāo)物體包圍盒的角點信息分割提取目標(biāo)物體的點云集合；

步驟5：對分割得到的點云進(jìn)行體素化降采樣，點云濾波，點云聚類得到目標(biāo)物體的理想點云；

步驟6：計算目標(biāo)理想點云的質(zhì)心以及利用PCA算法計算點云法向量方向作為目標(biāo)抓取接近參考方向，以此作為目標(biāo)物體點云的全局信息；

步驟7：對目標(biāo)點云進(jìn)行隨機(jī)均勻采樣，生成候選抓取姿態(tài)，通過旋轉(zhuǎn)平移拓展更多的抓取姿態(tài)；

步驟8：將抓握候選內(nèi)部點云編碼為壓縮的多通道圖像，使用卷積神經(jīng)網(wǎng)絡(luò)計算每個抓取候選的分?jǐn)?shù)；