[發(fā)明專利]基于視覺識別定位的水果自動化采摘方法及裝置

有效

• 申請?zhí)枺?/td>: 201711476528.6
• 申請日: 2017-12-29
• 公開（公告）號: CN108271531B
• 公開（公告）日: 2019-10-01
• 發(fā)明（設計）人: 王文韞;陳安華;亞庫普·艾合麥提;胡小平
• 申請（專利權(quán)）人: 湖南科技大學
• 主分類號: A01D46/30
• 分類號: A01D46/30
• 代理公司: 北京友聯(lián)知識產(chǎn)權(quán)代理事務所(普通合伙) 11343
• 代理人: 彭慶

1.一種基于視覺識別定位的水果自動化采摘方法，應用于采摘裝置，所述采摘裝置包括折疊式機械臂(1)、設置于折疊式機械臂(1)末端的抓取機械爪(2)、切割刀(3)和攝像機(11)，其特征在于，所述采摘方法包括如下步驟：

S1、使用攝像機對待采摘果樹進行彩色圖像采集；

S2、提取步驟S1中獲得的彩色圖像的RGB三個單通道灰度圖像；

S3、根據(jù)水果的顏色分量特征，選取步驟S2中RGB三個單通道灰度圖像中顏色分量明顯的單通道圖像；

S4、對步驟S3中選取的單通道圖像進行圖像預處理；

S5、對步驟S4中預處理后的圖像進行圖像特征的提取，將提取結(jié)果與訓練樣本庫進行特征匹配，判斷圖像中是否有水果目標，如果沒有則調(diào)整折疊式機械臂(1)的末端位置，返回步驟S1，如果有則進入步驟S6；

S6、獲取水果目標在計算機像素坐標系中的坐標和圖像中心坐標；

S7、將步驟S6中得到的各水果目標在計算機像素坐標系中的坐標變換為世界坐標系中的坐標；

S8、根據(jù)步驟S7中得到的水果目標在世界坐標系中的坐標，結(jié)合攝像機標定的比例因子和像素坐標差值計算設置于折疊式機械臂(1)末端的抓取機械爪(2)的平面移動量Δx和Δy；

S9、控制抓取機械爪(2)在與成像平面平行的平面內(nèi)移動Δx和Δy，使水果目標位于攝像機成像平面中心；

S10、控制抓取機械爪(2)垂直于成像平面向前移動，移動時實時測量水果目標與抓取機械爪之間的距離；

S11、抓取機械爪合攏抓取水果目標，并控制切割刀切斷果梗；

S12、抓取機械爪松開，水果落入收集箱；

S13、若圖像中有兩個以上的水果目標，返回步驟S8，直至將圖像中的其他水果目標采摘完畢。

2.根據(jù)權(quán)利要求1所述的基于視覺識別定位的水果自動化采摘方法，其特征在于：所述步驟S4具體包括如下子步驟：

S41、對圖像進行去噪處理；

S42、對圖像進行增強處理；

S43、對圖像進行二值化處理。

3.根據(jù)權(quán)利要求1所述的基于視覺識別定位的水果自動化采摘方法，其特征在于：所述步驟S5具體為：

判斷圖像中是否有水果目標基于圓形度計算進行，圓形度根據(jù)所提取圖像特征區(qū)域的面積、周長計算得到，其計算公式為：

e＝(4π×S)/L²；

其中e為圓形度，S為面積，L為周長；

設置e的閾值，當所提取圖像特征區(qū)域的圓形度小于設定的閾值的時候，認為是背景區(qū)域，當所提取圖像特征區(qū)域的圓形度大于設定的閾值時，則認為是有水果目標區(qū)域，從圖像中把水果目標分離出來。

4.根據(jù)權(quán)利要求1所述的基于視覺識別定位的水果自動化采摘方法，其特征在于：所述步驟S6具體包括以下子步驟：

S61、對攝像機進行標定；

S62、對獲取圖像進行極限校正；

S63、獲取水果目標的計算機圖像坐標。

5.根據(jù)權(quán)利要求1所述的基于視覺識別定位的水果自動化采摘方法，其特征在于，所述步驟S8中，如果Δx<A，Δy<B，其中A，B為系統(tǒng)給定的折疊式機械臂的偏移量位移，則進行下一步驟，否則折疊式機械臂運動，返回至步驟S1。

6.根據(jù)權(quán)利要求1所述的基于視覺識別定位的水果自動化采摘方法，其特征在于，所述步驟S8中，水果目標在圖像中的成像大小與攝像頭到水果目標的距離成反比，根據(jù)此關(guān)系計算出水果目標與抓取機械爪之間粗略的距離。

7.根據(jù)權(quán)利要求1所述的基于視覺識別定位的水果自動化采摘方法，其特征在于，所述步驟S10中，使用超聲波測距傳感器測量水果與抓取機械爪之間的距離Δd，當Δd<C時，控制折疊式機械臂停止運動，其中C是系統(tǒng)給定的抓取機械爪與水果之間的位移。