[發明專利]一種基于機器視覺與BP神經網絡的水果自動分揀方法

在審

• 申請號: 201711087227.4
• 申請日: 2017-11-07
• 公開（公告）號: CN107694962A
• 公開（公告）日: 2018-02-16
• 發明（設計）人: 李頎;強華
• 申請（專利權）人: 陜西科技大學
• 主分類號: B07C5/12
• 分類號: B07C5/12;B07C5/342;B07C5/02;B07C5/36;G06T5/00;G06T7/136;G06T7/12;G06T7/73
• 代理公司: 西安智大知識產權代理事務所61215
• 代理人: 王晶

1.一種基于機器視覺與BP神經網絡的水果自動分揀方法，其特征在于，包括以下步驟；

Step1、安裝工業相機，將相機安裝在機器人工作區域的正上方，調整相機的焦距使整個工作區域處在相機的視野范圍內，通過相機將工作區域照片采集到計算機；

Step2、進行相機標定主要通過相機對不同方位的標定板進行拍照，使用標定算子完成標定，得到攝像機的參數，即圖像坐標上每個像素在世界坐標系下對應的實際距離m；

Step3、對采集到的圖片進行高斯濾波，去除圖像中的干擾；

Step4、對圖片進行圖像增強和銳化處理，使水果的特征更加明顯；

Step5、采用閾值分割的方法得到包含水果的圖像區域，去除圖像中的背景；

Step6、進行輪廓提取，對水果進行定位；

使用Sobel算子對閾值分割后的圖像進行處理，可以返回X和Y方向的像素灰度值GX與GY，用下面的公式計算當前像素點的灰度值和梯度方向；

Magnitude=Gx2+Gy2]]>

Direction=arctan(GyGx)]]>

搜索邊緣梯度方向的局部極大值，抑制非極大值元素，可以細化邊緣，跟蹤邊緣方向的左右像素，如果當前像素的灰度值小于左、右像素灰度值，則抑制當前像素灰度；

經過上一步處理后可能會有少量的非邊緣像素被包含到結果中，所以要通過選取閾值進行取舍，通過假設兩個閾值其中一個為高閾值TH另外一個為低閾值TL，則有對于任意邊緣像素低于TL的則丟棄，對于任意邊緣像素高于TH的則保留，任意邊緣像素值在TL與TH之間的，如果能通過邊緣連接到一個像素大于TH而且邊緣所有像素大于最小閾值TL的則保留，否則丟棄，最終可以得到清晰的水果邊緣圖像，然后保存邊緣；

通過水果圖像的邊緣來計算水果的中心點坐標，根據相機標定的結果得到水果的機器人坐標；

Step7、提取不同種類水果的特征，對每一種水果提取水果的顏色、大小、周長以及彎曲程度四個特征，對每種水果的不同大小、不同角度和不同光照的圖像采集300張，并分別提取以上四種特征，選取260張圖片作為神經網絡訓練樣本，選取剩下的四十張為測試樣本；

Step8、建立BP神經網絡和訓練；

首先建立三層BP神經網絡，包含輸入層、隱層和輸出層，輸入層包含四個特征輸入節點，隱層包含20個節點；

用Step7得到的訓練樣本對神經網絡進行訓練，采用梯度下降的方法對各個權值進行調整；

最終用Step7得到的四十張圖片對網絡進行測試，驗證網絡；

Step9、利用訓練好的網絡對水果進行實時的分揀，對相機采集的水果圖片進行實時分類和定位，最終給出水果種類和位置信息；

Step10、通過Socket通信將水果的種類與位置信息發送給工業機器人；

Step11、機器人根據接收到的水果種類和坐標數據，移動末端執行器抓取水果并放置在包裝箱內，完成對水果的自動分揀。