[發(fā)明專利]機械臂視覺引導方法及裝置

在審

• 申請?zhí)枺?/td>: 201910654059.5
• 申請日: 2019-07-19
• 公開（公告）號: CN110271006A
• 公開（公告）日: 2019-09-24
• 發(fā)明（設計）人: 林森;劉玉坤;張云鶴;郭文忠;聶銘君;王少磊;賈冬冬;李銀坤;徐凡;賈海遙
• 申請（專利權）人: 北京農業(yè)智能裝備技術研究中心
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 程琛

本發(fā)明實施例提供一種農業(yè)機器人的機械臂視覺引導方法及裝置。所述方法包括：獲取作業(yè)對象與障礙物的RGB信息以及3D點云信息；根據所述作業(yè)對象與所述障礙物的RGB信息，確定所述作業(yè)對象與所述障礙物的類別；根據所述作業(yè)對象與所述障礙物的3D點云信息，確定所述作業(yè)對象與所述障礙物的三維坐標；根據所述作業(yè)對象與所述障礙物的類別，以及所述作業(yè)對象與所述障礙物的三維坐標，確定機械臂的運動路徑；根據所述機械臂的運動路徑引導所述機械臂作業(yè)。所述方法及裝置避免了機械臂與障礙物的碰撞，提高了農業(yè)機器人的作業(yè)效率。

技術領域

本發(fā)明涉及農業(yè)技術領域，具體涉及一種農業(yè)機器人的機械臂視覺引導方法及裝置。

背景技術

農業(yè)機器人可以在復雜環(huán)境下完成農作物的施肥、授粉、噴藥以及采摘等功能。農業(yè)機器人的使用可以改善農業(yè)作業(yè)條件，提高勞動生產率和作業(yè)質量，降低人類的勞動強度。

但是目前農業(yè)機器人在作業(yè)過程中常用的“手眼協(xié)調”方法具有明顯不足：

現有的機械臂視覺引導系統(tǒng)和方法大都是針對工業(yè)環(huán)境，而農業(yè)作業(yè)環(huán)境復雜，現有的視覺引導系統(tǒng)和方法無法直接應用到農業(yè)生產環(huán)境中。

現有的視覺引導系統(tǒng)首先提取作業(yè)對象的紋理、顏色或者形狀，然后對作業(yè)對象進行識別。然而，由于農業(yè)環(huán)境中的作物葉片存在互相遮擋的現象，容易導致現有的視覺系統(tǒng)識別不到作業(yè)對象的問題，無法精準引導機械臂作業(yè)。

進一步地，現有的視覺引導系統(tǒng)只能完成作業(yè)對象的識別與定位，不能快速實時完成作業(yè)對象與障礙物的區(qū)分，不能精確規(guī)劃出機械臂安全移動的空間，使得機械臂在移動過程中碰到障礙物。或者障礙物遮擋3D相機，從而影響識別與定位。

另外，現有的機械臂視覺引導方法首先由遠景視覺系統(tǒng)對作業(yè)對象完成識別和定位，然后引導機械臂和執(zhí)行末端完成相應動作。但遠景視覺系統(tǒng)通常在距離作業(yè)對象較遠的位置進行探測，這會造成視野范圍內目標過多、處理過程較為復雜且耗時較長、識別率降低、定位精度不高。

進一步地，現有的機械臂視覺引導系統(tǒng)通常通過遠景相機判定視野范圍內是否存在作業(yè)對象，然后引導機械臂靠近作業(yè)對象，再由近景相機完成作業(yè)對象的實時識別與定位，從而引導機械臂和執(zhí)行末端完成相應動作。這樣會存在遠景、近景相機的坐標匹配問題，并需要由遠景相機、機械臂和近景相機連貫無誤配合實現作業(yè)。現有的機械臂視覺引導系統(tǒng)過程繁瑣、延時較大且作業(yè)效率低。

因此，如何提供一種農業(yè)機器人的機械臂視覺引導系統(tǒng)和方法，已解決上述技術問題中的至少一種，具有十分重要的意義。

發(fā)明內容

針對現有技術中的缺陷，一方面，本發(fā)明實施例提供一種農業(yè)機器人的機械臂視覺引導方法，包括：

獲取作業(yè)對象與障礙物的RGB信息以及3D點云信息；

根據所述作業(yè)對象與所述障礙物的RGB信息，確定所述作業(yè)對象與所述障礙物的類別；根據所述作業(yè)對象與所述障礙物的3D點云信息，確定所述作業(yè)對象與所述障礙物的三維坐標；

根據所述作業(yè)對象與所述障礙物的類別，以及所述作業(yè)對象與所述障礙物的三維坐標，確定機械臂的運動路徑；

根據所述機械臂的運動路徑引導所述機械臂作業(yè)。

在一個實施例中，所述根據所述作業(yè)對象與所述障礙物的RGB信息，確定所述作業(yè)對象與所述障礙物的類別包括：

依次對所述作業(yè)對象與所述障礙物的RGB信息進行去模糊化處理、濾波處理以及圖像增強處理；

使用深度學習網絡對處理后的所述作業(yè)對象與所述障礙物的RGB信息進行訓練，以確定所述作業(yè)對象與所述障礙物的類別。

在一個實施例中，所述根據所述作業(yè)對象與所述障礙物的3D點云信息，確定所述作業(yè)對象與所述障礙物的三維坐標包括：