[發(fā)明專(zhuān)利]基于全局和局部視覺(jué)語(yǔ)義的機(jī)器人動(dòng)態(tài)抓取方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910059240.1
• 申請(qǐng)日: 2019-01-22
• 公開(kāi)（公告）號(hào): CN109483554B
• 公開(kāi)（公告）日: 2020-05-12
• 發(fā)明（設(shè)計(jì)）人: 劉辛軍;葉彥雷;李鵬;謝福貴;于超
• 申請(qǐng)（專(zhuān)利權(quán)）人: 清華大學(xué)
• 主分類(lèi)號(hào): B25J9/16
• 分類(lèi)號(hào): B25J9/16
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 張潤(rùn)

1.一種基于全局和局部視覺(jué)語(yǔ)義的機(jī)器人動(dòng)態(tài)抓取方法，其特征在于，包括以下步驟：

步驟S1：識(shí)別待抓取物體的物體類(lèi)別與物體尺寸，獲取所述待抓取物體在相機(jī)坐標(biāo)系中的位置和姿態(tài)，確定夾手的尺寸，所述步驟S1包括：

采集不同位姿和不同情況下物體的圖片；

通過(guò)標(biāo)注工具對(duì)圖片中物體的類(lèi)別進(jìn)行標(biāo)注；

采用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)訓(xùn)練，并進(jìn)行語(yǔ)義和實(shí)例劃分，以獲得相應(yīng)物體在圖片的位置和區(qū)域；

采用OpenCV圖像算法處理所述神經(jīng)網(wǎng)絡(luò)得到的類(lèi)別，并獲得目標(biāo)物體的區(qū)域，獲取輸出參數(shù)，其中，所述輸出參數(shù)包括：物體的類(lèi)別、物體坐標(biāo)系相對(duì)于全局雙目相機(jī)或者局部雙目相機(jī)坐標(biāo)系下的位置和姿態(tài)和夾手寬度；

步驟S2：通過(guò)全局雙目相機(jī)對(duì)機(jī)械臂靜態(tài)軌跡規(guī)劃與局部雙目相機(jī)對(duì)所述機(jī)械臂動(dòng)態(tài)軌跡規(guī)劃對(duì)所述待抓取物體進(jìn)行抓取，以實(shí)現(xiàn)最優(yōu)抓取，所述步驟S2包括：

利用所述全局雙目相機(jī)獲取所述待抓取物體相對(duì)于基座的位置，將物體坐標(biāo)系轉(zhuǎn)到所述全局雙目相機(jī)坐標(biāo)系再到基坐標(biāo)系；

控制所述機(jī)械臂執(zhí)行由全局靜態(tài)軌跡規(guī)劃，到達(dá)所述待抓取物體對(duì)應(yīng)的預(yù)設(shè)區(qū)域；

將所述全局雙目相機(jī)切換到所述局部雙目相機(jī)，通過(guò)神經(jīng)網(wǎng)絡(luò)處理所述局部雙目相機(jī)的照片，輸出命令，執(zhí)行動(dòng)態(tài)的軌跡規(guī)劃；

將抓取物體放置目標(biāo)位置，完成期望的位置，并根據(jù)完成抓取后的狀態(tài)生成反饋信息。

2.根據(jù)權(quán)利要求1所述的基于全局和局部視覺(jué)語(yǔ)義的機(jī)器人動(dòng)態(tài)抓取方法，其特征在于，所述采用OpenCV圖像算法處理所述神經(jīng)網(wǎng)絡(luò)得到的類(lèi)別，并獲得目標(biāo)物體的區(qū)域，進(jìn)一步包括：

通過(guò)最小矩形的方法框選物體，以獲得矩形框和圖像一邊的夾角；

設(shè)定所述矩形框的中心點(diǎn)為抓取中心點(diǎn)，并用雙目相機(jī)定位抓取深度信息；

通過(guò)落差計(jì)算物體在Z方向的高度，獲得抓取深度，以此確定所述待抓取物體的坐標(biāo)系，相對(duì)于所述全局雙目相機(jī)坐標(biāo)系或者所述局部雙目相機(jī)坐標(biāo)系的位姿，并通過(guò)像素推算所述待抓取物體的寬度，獲取夾手的開(kāi)合大小。

3.根據(jù)權(quán)利要求1所述的基于全局和局部視覺(jué)語(yǔ)義的機(jī)器人動(dòng)態(tài)抓取方法，其特征在于，所述步驟S2還包括：

利用所述局部雙目相機(jī)獲取所述待抓取物體相對(duì)于基座的位置，將物體坐標(biāo)系轉(zhuǎn)到所述局部雙目相機(jī)坐標(biāo)系，再到末端執(zhí)行器坐標(biāo)系，最后到基坐標(biāo)系；

控制所述機(jī)械臂執(zhí)行由全局靜態(tài)軌跡規(guī)劃，到達(dá)所述待抓取物體對(duì)應(yīng)的預(yù)設(shè)區(qū)域；

將所述全局雙目相機(jī)切換到所述局部雙目相機(jī)，通過(guò)神經(jīng)網(wǎng)絡(luò)處理所述局部雙目相機(jī)的照片，輸出命令，執(zhí)行動(dòng)態(tài)的軌跡規(guī)劃；

將抓取物體放置目標(biāo)位置，完成期望的位置，并根據(jù)完成抓取后的狀態(tài)生成反饋信息。