[發(fā)明專利]一種基于機(jī)器視覺與BP神經(jīng)網(wǎng)絡(luò)的水果自動分揀方法

在審

• 申請?zhí)枺?/td>: 201711087227.4
• 申請日: 2017-11-07
• 公開（公告）號: CN107694962A
• 公開（公告）日: 2018-02-16
• 發(fā)明（設(shè)計）人: 李頎;強(qiáng)華
• 申請（專利權(quán)）人: 陜西科技大學(xué)
• 主分類號: B07C5/12
• 分類號: B07C5/12;B07C5/342;B07C5/02;B07C5/36;G06T5/00;G06T7/136;G06T7/12;G06T7/73
• 代理公司: 西安智大知識產(chǎn)權(quán)代理事務(wù)所61215
• 代理人: 王晶

技術(shù)領(lǐng)域

本發(fā)明涉及自動分揀技術(shù)領(lǐng)域，特別涉及一種基于機(jī)器視覺與BP神經(jīng)網(wǎng)絡(luò)的水果自動分揀方法。

背景技術(shù)

長期以來，由于我國鄉(xiāng)村勞動力資源豐富，水果的產(chǎn)后處理主要采用人工方式，而人工分揀存在明顯的缺點：需要大量的勞動力，勞動強(qiáng)度大，經(jīng)濟(jì)效益不好。同時這種主觀評定受到個人的視力、顏色鑒別能力、情緒等因素的影響較大。

隨著計算機(jī)技術(shù)與圖像處理技術(shù)的快速發(fā)展，機(jī)器視覺在工農(nóng)業(yè)的應(yīng)用越來越普遍。國內(nèi)外眾多學(xué)者對利用機(jī)器視覺提高果蔬分級速度和質(zhì)量等進(jìn)行了多方面的研究，無論在理論還是在應(yīng)用上都取得了較大進(jìn)展。而我國對水果自動分級技術(shù)研究則較晚，國內(nèi)從20世紀(jì)90年代開始利用計算機(jī)視覺技術(shù)進(jìn)行水果的分級研究。本發(fā)明利用機(jī)器視覺與BP神經(jīng)網(wǎng)絡(luò)對不同的水果進(jìn)行分揀，可大大提高水果分揀的效率。并利用機(jī)器人完成對水果的抓取，可完成水果的自動裝箱。

發(fā)明內(nèi)容

為了克服上述現(xiàn)有技術(shù)的不足，本發(fā)明的目的在于提供一種基于機(jī)器視覺與BP神經(jīng)網(wǎng)絡(luò)的水果自動分揀方法，利用數(shù)字圖像處理和神經(jīng)網(wǎng)絡(luò)的方法，對不同類型的水果進(jìn)行自動識別、定位及分類，對傳統(tǒng)靠人工進(jìn)行分揀的方法進(jìn)行改進(jìn)，最后利用工業(yè)機(jī)器人完成對水果的分揀。

為了實現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是：

Step1、安裝工業(yè)相機(jī)，將相機(jī)安裝在機(jī)器人工作區(qū)域的正上方，調(diào)整相機(jī)的焦距使整個工作區(qū)域處在相機(jī)的視野范圍內(nèi)，通過相機(jī)將工作區(qū)域照片采集到計算機(jī)；

Step 2、進(jìn)行相機(jī)標(biāo)定主要通過相機(jī)對不同方位的標(biāo)定板進(jìn)行拍照，使用標(biāo)定算子完成標(biāo)定，得到攝像機(jī)的參數(shù)，即圖像坐標(biāo)上每個像素在世界坐標(biāo)系下對應(yīng)的實際距離m；

Step 3、對采集到的圖片進(jìn)行高斯濾波，去除圖像中的干擾；

Step 4、對圖片進(jìn)行圖像增強(qiáng)和銳化處理，使水果的特征更加明顯；

Step 5、采用閾值分割的方法得到包含水果的圖像區(qū)域，去除圖像中的背景；

Step 6、進(jìn)行輪廓提取，對水果進(jìn)行定位；

使用Sobel算子對閾值分割后的圖像進(jìn)行處理，可以返回X和Y方向的像素灰度值GX與GY，用下面的公式計算當(dāng)前像素點的灰度值和梯度方向；

搜索邊緣梯度方向的局部極大值，抑制非極大值元素，可以細(xì)化邊緣，跟蹤邊緣方向的左右像素，如果當(dāng)前像素的灰度值小于左、右像素灰度值，則抑制當(dāng)前像素灰度；

經(jīng)過上一步處理后可能會有少量的非邊緣像素被包含到結(jié)果中，所以要通過選取閾值進(jìn)行取舍，通過假設(shè)兩個閾值其中一個為高閾值TH另外一個為低閾值TL，則有對于任意邊緣像素低于TL的則丟棄，對于任意邊緣像素高于TH的則保留，任意邊緣像素值在TL與TH之間的，如果能通過邊緣連接到一個像素大于TH而且邊緣所有像素大于最小閾值TL的則保留，否則丟棄。最終可以得到清晰的水果邊緣圖像，然后保存邊緣。

通過水果圖像的邊緣來計算水果的中心點坐標(biāo)，根據(jù)相機(jī)標(biāo)定的結(jié)果得到水果的機(jī)器人坐標(biāo)；

Step 7、提取不同種類水果的特征，對每一種水果提取水果的顏色、大小、周長以及彎曲程度四個特征，對每種水果的不同大小、不同角度和不同光照的圖像采集300張，并分別提取以上四種特征，選取260張圖片作為神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本，選取剩下的四十張為測試樣本；

Step 8、建立BP神經(jīng)網(wǎng)絡(luò)和訓(xùn)練；

首先建立三層BP神經(jīng)網(wǎng)絡(luò)，包含輸入層、隱層和輸出層。輸入層包含四個特征輸入節(jié)點，隱層包含20個節(jié)點；

用Step 7得到的訓(xùn)練樣本對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，采用梯度下降的方法對各個權(quán)值進(jìn)行調(diào)整；

最終用Step 7得到的四十張圖片對網(wǎng)絡(luò)進(jìn)行測試，驗證網(wǎng)絡(luò)；

Step 9、利用訓(xùn)練好的網(wǎng)絡(luò)對水果進(jìn)行實時的分揀，對相機(jī)采集的水果圖片進(jìn)行實時分類和定位，最終給出水果種類和位置信息；

Step 10、通過Socket通信將水果的種類與位置信息發(fā)送給工業(yè)機(jī)器人；

Step 11、機(jī)器人根據(jù)接收到的水果種類和坐標(biāo)數(shù)據(jù)，移動末端執(zhí)行器抓取水果并放置在包裝箱內(nèi)，完成對水果的自動分揀。

本發(fā)明的有益效果：

本發(fā)明涉及的一種基于機(jī)器視覺與BP神經(jīng)網(wǎng)絡(luò)的水果自動分揀方法，可以實現(xiàn)對水果的自動識別與定位，從而實現(xiàn)水果的自動分揀功能。與傳統(tǒng)的靠人工分揀系統(tǒng)相比，機(jī)器人自動分揀可極大的提高生產(chǎn)效率。若將本發(fā)明應(yīng)用于工業(yè)現(xiàn)場的水果分揀系統(tǒng)中，將大大提高水果分揀的效率，為基于機(jī)器人的水果自動分揀提出新的解決方案。

附圖說明