[發(fā)明專(zhuān)利]基于視覺(jué)識(shí)別定位的水果自動(dòng)化采摘方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201711476528.6
• 申請(qǐng)日: 2017-12-29
• 公開(kāi)（公告）號(hào): CN108271531B
• 公開(kāi)（公告）日: 2019-10-01
• 發(fā)明（設(shè)計(jì)）人: 王文韞;陳安華;亞庫(kù)普·艾合麥提;胡小平
• 申請(qǐng)（專(zhuān)利權(quán)）人: 湖南科技大學(xué)
• 主分類(lèi)號(hào): A01D46/30
• 分類(lèi)號(hào): A01D46/30
• 代理公司: 北京友聯(lián)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11343
• 代理人: 彭慶

本發(fā)明公開(kāi)了一種基于視覺(jué)識(shí)別定位的水果自動(dòng)化采摘方法及裝置，方法包括如下步驟：S1、彩色圖像采集；S2、提取RGB三個(gè)單通道灰度圖像；S3、選取顏色分量明顯的單通道圖像；S4、圖像預(yù)處理；S5、判斷圖像中是否有水果目標(biāo)；S6、獲取水果目標(biāo)在計(jì)算機(jī)像素坐標(biāo)系中的坐標(biāo)；S7、將像素坐標(biāo)變換為世界坐標(biāo)系坐標(biāo)；S8、計(jì)算抓取機(jī)械爪的平面移動(dòng)量；S9、控制抓取機(jī)械爪移動(dòng)，使水果目標(biāo)位于攝像機(jī)成像平面中心；S10、控制抓取機(jī)械爪垂直于成像平面向前移動(dòng)；S11、抓取水果目標(biāo)，切斷果梗；S12、抓取機(jī)械爪松開(kāi)，水果落入收集箱。本發(fā)明通過(guò)圖像處理與特征匹配來(lái)確定水果目標(biāo)，并對(duì)目標(biāo)跟蹤定位來(lái)精確定位水果的位置以引導(dǎo)進(jìn)行準(zhǔn)確采摘，減少水果表面損傷。

技術(shù)領(lǐng)域

本發(fā)明屬于水果采摘的技術(shù)領(lǐng)域，具體涉及一種基于視覺(jué)識(shí)別定位的水果自動(dòng)化采摘方法及裝置。

背景技術(shù)

蘋(píng)果這類(lèi)季節(jié)性水果的收割需在短時(shí)間內(nèi)完成，目前這項(xiàng)工作主要是靠人工完成，人工成本占整個(gè)生產(chǎn)成本的很大一部分。為了減少勞動(dòng)力成本，相關(guān)技術(shù)中提出了幾種機(jī)械化采摘水果的方案，但是，大多數(shù)機(jī)械化的解決方案在采摘時(shí)無(wú)法準(zhǔn)確確定水果的位置，因而采摘時(shí)會(huì)產(chǎn)生沖擊而導(dǎo)致水果表面損傷，使收獲的產(chǎn)品降低品質(zhì)，特別是像蘋(píng)果等水果，必須避免水果的瘀傷。

發(fā)明內(nèi)容

本發(fā)明的目的在于避免現(xiàn)有技術(shù)中的不足而提供一種基于視覺(jué)識(shí)別定位的水果自動(dòng)化采摘方法及裝置，其通過(guò)圖像處理與分析來(lái)確定水果的位置，以引導(dǎo)進(jìn)行準(zhǔn)確采摘，從而減少因采摘沖擊而導(dǎo)致的水果表面損傷。

本發(fā)明的目的通過(guò)以下技術(shù)方案實(shí)現(xiàn)：

提供一種基于視覺(jué)識(shí)別定位的水果自動(dòng)化采摘方法，應(yīng)用于采摘裝置，所述采摘裝置包括折疊式機(jī)械臂、設(shè)置于折疊式機(jī)械臂末端的抓取機(jī)械爪、切割刀和攝像機(jī)，所述采摘方法包括如下步驟：

S1、使用攝像機(jī)對(duì)待采摘果樹(shù)進(jìn)行彩色圖像采集；

S2、提取步驟S1中獲得的彩色圖像的RGB三個(gè)單通道灰度圖像；

S3、根據(jù)水果的顏色分量特征，選取步驟S2中RGB三個(gè)單通道灰度圖像中顏色分量明顯的單通道圖像；

S4、對(duì)步驟S3中選取的單通道圖像進(jìn)行圖像預(yù)處理；

S5、對(duì)步驟S4中預(yù)處理后的圖像進(jìn)行圖像特征的提取，將提取結(jié)果與訓(xùn)練樣本庫(kù)進(jìn)行特征匹配，判斷圖像中是否有水果目標(biāo)，如果沒(méi)有則調(diào)整折疊式機(jī)械臂的末端位置，返回步驟S1，如果有則進(jìn)入步驟S6；

S6、獲取水果目標(biāo)在計(jì)算機(jī)像素坐標(biāo)系中的坐標(biāo)和圖像中心坐標(biāo)；

S7、將步驟S6中得到的各水果目標(biāo)在計(jì)算機(jī)像素坐標(biāo)系中的坐標(biāo)變換為世界坐標(biāo)系中的坐標(biāo)；

S8、根據(jù)步驟S7中得到的水果目標(biāo)在世界坐標(biāo)系中的坐標(biāo)，結(jié)合攝像機(jī)標(biāo)定的比例因子和像素坐標(biāo)差值計(jì)算設(shè)置于折疊式機(jī)械臂末端的抓取機(jī)械爪的平面移動(dòng)量Δx和Δy；

S9、控制抓取機(jī)械爪在與成像平面平行的平面內(nèi)移動(dòng)Δx和Δy，使水果目標(biāo)位于攝像機(jī)成像平面中心；

S10、控制抓取機(jī)械爪垂直于成像平面向前移動(dòng)，移動(dòng)時(shí)實(shí)時(shí)測(cè)量水果目標(biāo)與抓取機(jī)械爪之間的距離；

S11、抓取機(jī)械爪合攏抓取水果目標(biāo)，并控制切割刀切斷果梗；

S12、抓取機(jī)械爪松開(kāi)，水果落入收集箱；

S13、若圖像中有兩個(gè)以上的水果目標(biāo)，返回步驟S8，直至將圖像中的其他水果目標(biāo)采摘完畢。

作為進(jìn)一步的改進(jìn)，所述步驟S4具體包括如下子步驟：

S41、對(duì)圖像進(jìn)行去噪處理；

S42、對(duì)圖像進(jìn)行增強(qiáng)處理；