[發(fā)明專利]一種基于視覺信息融合的機械臂抓取目標物體方法

在審

• 申請?zhí)枺?/td>: 202010866054.1
• 申請日: 2020-08-25
• 公開（公告）號: CN112171661A
• 公開（公告）日: 2021-01-05
• 發(fā)明（設(shè)計）人: 高放;孫晴藝;石蓬勃;王家寶;殷林飛;李正陽;雙豐
• 申請（專利權(quán)）人: 廣西大學(xué)
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 南寧啟創(chuàng)知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 45122
• 代理人: 謝美萱

本發(fā)明提出一種基于視覺信息融合的機械臂抓取目標物體方法，旨在解決目標物體位于復(fù)雜環(huán)境的機械臂抓取問題。所述方法包括：通過置于機械臂末端上方的深度相機獲取含有目標物體的彩色圖像以及相機坐標下的圖像深度信息；利用深度學(xué)習(xí)YOLO目標檢測方法對彩色圖像中的目標物體進行識別并定位出特征點像素坐標；利用所述彩色圖像的特征點像素坐標融合所述的圖像深度信息，計算出目標物體特征點在相機坐標系下的三維坐標；由目標物體特征點在相機坐標系下的三維坐標計算出目標物體在相機坐標系下的三維位置和三維位姿；將三維位置和三維位姿轉(zhuǎn)換至機械臂基座坐標系下；利用與機械臂連接的二指夾爪對目標物體進行抓取。

技術(shù)領(lǐng)域

本發(fā)明涉及機器人技術(shù)領(lǐng)域，具體涉及一種在背景復(fù)雜的情況下基于視覺信息融合的機械臂抓取目標物體的方法。

背景技術(shù)

隨著人工智能技術(shù)的發(fā)展，機器人的應(yīng)用領(lǐng)域不斷拓展，而不管是工業(yè)領(lǐng)域還是家庭服務(wù)領(lǐng)域，機器人與真實世界的互動必不可少，而抓取，則是機器人與真實世界互動的基本技能。模仿人類手臂活動關(guān)節(jié)的多自由度機械臂與二指夾爪的組合常用于實現(xiàn)在各種環(huán)境下的抓取，由于真實世界的復(fù)雜多樣，抓取任務(wù)具有很大的不確定性，提高機器臂在復(fù)雜環(huán)境的目標檢測及抓取規(guī)劃能力成為了目前機器人領(lǐng)域研究的熱點。

目前深度學(xué)習(xí)方法得到了越來越廣泛的應(yīng)用，是二維圖像目標識別目標檢測的主要方法，在近年來也出現(xiàn)了利用深度學(xué)習(xí)方法完成機械臂抓取中的三維目標物體的識別任務(wù)，例如Nvidia發(fā)布的《Deep Object Pose Estimation for Semantic Robotic Graspingof Household Objects》，其原理則是利用深度學(xué)習(xí)方法先檢測出目標點的二維坐標，再利用PnP算法，實現(xiàn)目標點二維坐標至三維坐標的轉(zhuǎn)換以及目標物體的位姿估計，但是PnP算法在現(xiàn)實應(yīng)用中會出現(xiàn)誤差，即當二維坐標的估計存在正常范圍內(nèi)的誤差時，PnP算法會放大誤差，得出誤差較大的三維坐標，以致無法成功抓取的問題，所以本文所述方法將圖像深度信息和目標點二維坐標信息融合，豐富目標三維坐標的信息，用以計算出準確的目標物體三維位置以及三維位姿，實現(xiàn)準確的抓取。

發(fā)明內(nèi)容

本發(fā)明提出一種基于視覺信息融合的機械臂抓取目標物體的方法，主要用于機械臂在復(fù)雜環(huán)境下的目標識別和抓取，能夠使機械臂在復(fù)雜環(huán)境下實現(xiàn)快速穩(wěn)定的目標物體三維位置和三維位姿的識別檢測以實現(xiàn)機械臂抓取。

本發(fā)明包括以下主要步驟：

(1)通過置于機械臂末端上方的相機獲取含有目標物體的RGB圖像以及相機坐標系下的圖像深度信息；

(2)基于所述RGB圖像，利用深度學(xué)習(xí)方法對目標物體進行檢測，獲取包圍目標物體的三維矩形框的各角點及中心點的像素坐標；

(3)基于所述包圍目標物體的三維矩形框的各點像素坐標，融合相機坐標下的圖像深度信息，計算出目標物體特征點在相機坐標系下的三維坐標；

(4)利用目標物體各特征點的三維坐標計算出目標物體在相機坐標系下的三維位置以及三維位姿；

(5)將目標物體在相機坐標系下的三維位置以及三維位姿轉(zhuǎn)換至機械臂基座坐標系下；

(6)利用所述目標物體在機械臂基座坐標系下的三維位置以及三維位姿作為機械臂逆運動學(xué)輸入，使用機械臂連接的二指夾爪進行目標抓取。

可選地，步驟(1)中所述的相機為RGB-D相機，固定在所述機械臂末端，隨機械臂運動而運動。

可選地，步驟(2)中所述的深度學(xué)習(xí)方法是以包圍目標物體的三維矩形框八個角點以及一個中心點的圖像坐標和目標物體類別為訓(xùn)練標簽，訓(xùn)練YOLO目標檢測網(wǎng)絡(luò)，來獲取可以檢測目標物體的深度學(xué)習(xí)網(wǎng)絡(luò)。