[發(fā)明專利]機(jī)械臂視覺引導(dǎo)方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201910654059.5
• 申請(qǐng)日: 2019-07-19
• 公開（公告）號(hào): CN110271006A
• 公開（公告）日: 2019-09-24
• 發(fā)明（設(shè)計(jì)）人: 林森;劉玉坤;張?jiān)弃Q;郭文忠;聶銘君;王少磊;賈冬冬;李銀坤;徐凡;賈海遙
• 申請(qǐng)（專利權(quán)）人: 北京農(nóng)業(yè)智能裝備技術(shù)研究中心
• 主分類號(hào): B25J9/16
• 分類號(hào): B25J9/16
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 程琛

1.一種農(nóng)業(yè)機(jī)器人的機(jī)械臂視覺引導(dǎo)方法，其特征在于，包括：

獲取作業(yè)對(duì)象與障礙物的RGB信息以及3D點(diǎn)云信息；

根據(jù)所述作業(yè)對(duì)象與所述障礙物的RGB信息，確定所述作業(yè)對(duì)象與所述障礙物的類別；根據(jù)所述作業(yè)對(duì)象與所述障礙物的3D點(diǎn)云信息，確定所述作業(yè)對(duì)象與所述障礙物的三維坐標(biāo)；

根據(jù)所述作業(yè)對(duì)象與所述障礙物的類別，以及所述作業(yè)對(duì)象與所述障礙物的三維坐標(biāo)，確定機(jī)械臂的運(yùn)動(dòng)路徑；

根據(jù)所述機(jī)械臂的運(yùn)動(dòng)路徑引導(dǎo)所述機(jī)械臂作業(yè)。

2.根據(jù)權(quán)利要求1所述的農(nóng)業(yè)機(jī)器人的機(jī)械臂視覺引導(dǎo)方法，其特征在于，所述根據(jù)所述作業(yè)對(duì)象與所述障礙物的RGB信息，確定所述作業(yè)對(duì)象與所述障礙物的類別包括：

依次對(duì)所述作業(yè)對(duì)象與所述障礙物的RGB信息進(jìn)行去模糊化處理、濾波處理以及圖像增強(qiáng)處理；

使用深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)處理后的所述作業(yè)對(duì)象與所述障礙物的RGB信息進(jìn)行訓(xùn)練，以確定所述作業(yè)對(duì)象與所述障礙物的類別。

3.根據(jù)權(quán)利要求1所述的農(nóng)業(yè)機(jī)器人的機(jī)械臂視覺引導(dǎo)方法，其特征在于，所述根據(jù)所述作業(yè)對(duì)象與所述障礙物的3D點(diǎn)云信息，確定所述作業(yè)對(duì)象與所述障礙物的三維坐標(biāo)包括：

使用體素網(wǎng)格將所述作業(yè)對(duì)象與所述障礙物的3D點(diǎn)云信息轉(zhuǎn)換為體積表示；

使用深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)體積表示的所述作業(yè)對(duì)象與所述障礙物的3D點(diǎn)云信息進(jìn)行訓(xùn)練；

對(duì)訓(xùn)練后的數(shù)據(jù)進(jìn)行去模糊化處理以獲取所述作業(yè)對(duì)象與所述障礙物的三維坐標(biāo)。

4.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的農(nóng)業(yè)機(jī)器人的機(jī)械臂視覺引導(dǎo)方法，其特征在于，所述根據(jù)所述作業(yè)對(duì)象與所述障礙物的類別，以及所述作業(yè)對(duì)象與所述障礙物的三維坐標(biāo)，確定機(jī)械臂的運(yùn)動(dòng)路徑包括：

根據(jù)植株上的所述作業(yè)對(duì)象的生長(zhǎng)信息，對(duì)植株進(jìn)行子區(qū)域劃分；

根據(jù)各子區(qū)域內(nèi)的所述作業(yè)對(duì)象與所述障礙物的類別，以及所述作業(yè)對(duì)象與所述障礙物的三維坐標(biāo)，確定所述機(jī)械臂在各子區(qū)域內(nèi)的運(yùn)動(dòng)路徑。

5.一種農(nóng)業(yè)機(jī)器人的機(jī)械臂視覺引導(dǎo)裝置，其特征在于，包括：

獲取模塊，用于獲取作業(yè)對(duì)象與障礙物的RGB信息以及3D點(diǎn)云信息；

確定模塊，用于根據(jù)所述作業(yè)對(duì)象與所述障礙物的RGB信息，確定所述作業(yè)對(duì)象與所述障礙物的類別；根據(jù)所述作業(yè)對(duì)象與所述障礙物的3D點(diǎn)云信息，確定所述作業(yè)對(duì)象與所述障礙物的三維坐標(biāo)；

路徑模塊，用于根據(jù)所述作業(yè)對(duì)象與所述障礙物的類別，以及所述作業(yè)對(duì)象與所述障礙物的三維坐標(biāo)，確定機(jī)械臂的運(yùn)動(dòng)路徑；

引導(dǎo)模塊，用于根據(jù)所述機(jī)械臂的運(yùn)動(dòng)路徑引導(dǎo)所述機(jī)械臂作業(yè)。

6.根據(jù)權(quán)利要求5所述的農(nóng)業(yè)機(jī)器人的機(jī)械臂視覺引導(dǎo)裝置，其特征在于，所述確定模塊具體用于：

依次對(duì)所述作業(yè)對(duì)象與所述障礙物的RGB信息進(jìn)行去模糊化處理、濾波處理以及圖像增強(qiáng)處理；

使用深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)處理后的所述作業(yè)對(duì)象與所述障礙物的RGB信息進(jìn)行訓(xùn)練，以確定所述作業(yè)對(duì)象與所述障礙物的類別。

7.根據(jù)權(quán)利要求5所述的農(nóng)業(yè)機(jī)器人的機(jī)械臂視覺引導(dǎo)裝置，其特征在于，所述確定模塊具體用于：

使用體素網(wǎng)格將所述作業(yè)對(duì)象與所述障礙物的3D點(diǎn)云信息轉(zhuǎn)換為體積表示；

使用深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)體積表示的所述作業(yè)對(duì)象與所述障礙物的3D點(diǎn)云信息進(jìn)行訓(xùn)練；

對(duì)訓(xùn)練后的數(shù)據(jù)進(jìn)行去模糊化處理以獲取所述作業(yè)對(duì)象與所述障礙物的三維坐標(biāo)。

8.根據(jù)權(quán)利要求5至7任一項(xiàng)所述的農(nóng)業(yè)機(jī)器人的機(jī)械臂視覺引導(dǎo)裝置，其特征在于，所述路徑模塊具體用于：

根據(jù)植株上的所述作業(yè)對(duì)象的生長(zhǎng)信息，對(duì)植株進(jìn)行子區(qū)域劃分；

根據(jù)各子區(qū)域內(nèi)的所述作業(yè)對(duì)象與所述障礙物的類別，以及所述作業(yè)對(duì)象與所述障礙物的三維坐標(biāo)，確定所述機(jī)械臂在各子區(qū)域內(nèi)的運(yùn)動(dòng)路徑。