[發明專利]一種基于改進深度神經網絡的蘋果采摘方法

在審

• 申請號: 202110031817.5
• 申請日: 2021-01-11
• 公開（公告）號: CN112734727A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 李靜;黃友銳;韓濤;蘭世豪;江靈雅
• 申請（專利權）人: 安徽理工大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06T7/194;G06T7/55;G06N3/04;G06N3/08;A01D91/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于深度神經網絡的蘋果采摘機器人抓取果實方法，該方法改進了傳統的神經網絡，使用了殘差網絡和遞歸神經網絡(LSTM)構建了抓取建議網絡和三維重建網絡。其包括：采集田間蘋果果實圖片從中抽取樣本圖片進行預處理，構建抓取建議網絡和三維重建網絡并用訓練數據集進行訓練，用測試數據集進行評估，使用訓練好的卷積網絡對蘋果進行實時采摘的一系列過程，實現了對果實目標物體的識別和三維空間定位,以便為機械手的運動提供參數,從而實現農業果實的準確采摘。使用卷積神經網絡改進了抓取，提高了抓取性能，從而大大提高了蘋果采摘的效率，為基于機器人的蘋果采摘提出了一種新的解決方案。

技術領域

本發明設計一種基于改進卷積神經網絡圖像識別技術的蘋果采摘機器人的抓取方法。

背景技術

目前在水果采摘過程中需要大量的勞動力，但是隨著我國老齡化程度的不斷加深，農村勞動力不斷減少，生產成本不斷提高，限制了整個水果產業的發展，另外，人工采摘還會受到人為主觀因素的影響，這也會降低采摘質量。隨著計算機和圖像處理技術的快速發展，一種智能化水果采摘機的出現降低果農的勞動強度以及生產成本，可以有效地增加整個產業的生產效率，符合水果產業化發展的需求。數字圖像處理技術在采摘機器人的應用主要是對果實目標物體的識別和三維空間定位,以便為機械手的運動提供參數,從而實現農業果實的準確采摘。針對現有采摘需要大量勞動力，采摘效率低下問題，本發明研究了一種基于深度學習的智能果實采摘方法，有效提高了果實采摘效率，為農業生產做出了貢獻。

發明內容

本發明提供了一種基于深度神經網絡蘋果采摘方法，此方法利用圖像處理技術和卷積神經網絡對田間成熟的蘋果進行準確抓取，其中使用卷積神經網絡構建蘋果果實的抓取建議網絡和三維重建網絡，以便為機械手的運動提供參數,從而實現農業果實的準確采摘。降低了勞動強度以及生產成本，可以有效地增加整個產業的生產效率。

為了達到上述目的，本發明所采用的技術方案為：

基于深度神經網絡的蘋果采摘方法，其特征在于，所述方法包括下述步驟：

(1)采用雙目深度相機從田間拍攝圖片，獲取在不同時間段、不同光照條件下蘋果的圖片；

(2)從拍攝的蘋果圖片中抽取圖片樣本并對其進行預處理：

(2a)對采集到的圖片進行高斯濾波，平滑圖像，去除噪聲；

(2b)對圖片進行圖像增強處理，以突出蘋果特征，提高圖像的清晰度；

(2c)采用色彩空間參照表的方法進行圖像分割，去除圖像中的背景，得到包含蘋果區域的圖像。由于采摘機器人受工作環境光強變化影響較大，對于HSV,YC_bC_r和L^*a^*b^*3種模型，分別取與亮度無關的2個分量H和S,Cr和Cb,a*和b*，它們構成了二維色彩空間。空間參照表的建立過程如下：

(2d)建立一個256@256的整數數組(對應二維色彩空間)，并初始化為零；

(2e)將樣本像素從RGB色彩空間轉化到指定的色彩空間(如HSV和L*a*b*等),并將各個分量均映射到0～255的范圍內；

(2f)在指定二維色彩空間(如HS和a*b*,即第(2d)步建立的數組)統計樣本像素,得到二維色彩分布密度圖，也是灰度直方圖在二維色彩空間的擴展；

(2g)將第(2f)步得到的二維色彩分布密度圖視作一灰度圖,取合適的閾值,將其二值化,得到一個二值圖像；

(2h)采用改進的膨脹、腐蝕算法對第(2g)步得到的二值圖像進行一系列數學形態學的運算,最后得到的二值圖像所對應的二維數組就是所求的色彩空間參照表；