[發明專利]一種基于深度學習的蘋果采摘機器人果實目標檢測方法

在審

• 申請號: 201710665266.1
• 申請日: 2017-08-07
• 公開（公告）號: CN107633199A
• 公開（公告）日: 2018-01-26
• 發明（設計）人: 王萬良;鞠振宇;邱虹;楊平;應森亮;鄭建煒
• 申請（專利權）人: 浙江工業大學;浙江工業大學義烏科學技術研究院有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 杭州天正專利事務所有限公司33201
• 代理人: 王兵,黃美娟

技術領域

本發明涉及一種利用深度學習目標檢測算法實現蘋果采摘機器人果實目標檢測的方法，具體涉及一種利用深度學習算法對采摘機器人視覺圖像進行識別與檢測，并標定果實區域的方法，屬于機器視覺領域。

背景技術

中國是蘋果生產大國，蘋果生產過程中采摘的工作量最大，大約占全部勞動量的40％左右，采摘質量的優劣會對水果的存儲、處理、加工及銷售等多方面均會有影響。由于采摘作業要求較高，因此大部分采摘工作是手工完成，但手工采摘的成本較高、耗時長難以適應規模化種植的需要。因此為了提高生產效益、將農民從繁重的采摘作業中解放出來，果實機械收獲是一個急需解決的問題。蘋果果實采摘機器人一個關鍵環節是果實目標的正確識別與定位，視覺系統的好壞對整個機器人的性能具有相當重要的影響。因此采摘機器人視覺系統的研究，對于解決我國農村勞動力短缺問題，提高農民的生產力，促進社會主義新農村的建設均具有最要的意義。

多年來國內外大量的科技工作者致力于收獲機器人視覺系統的研究工作，但由于機器人的工作環境復雜多變，作業對象(果實、樹葉、樹枝)生長狀態復雜多樣，導致捕獲的圖像存在大量噪聲及干擾信息，這些為機器視覺系統檢測和接近果實變得異常困難。因此，在光線多變的復雜環境中如何使用有效的分割、識別、定位方法是一個亟待解決的問題。

發明內容

本發明要克服現有技術的上述缺點，提供一種基于深度學習的蘋果采摘機器人果實目標檢測方法。

本發明使用移動式智能機器人搭載的相機拍攝足夠多的蘋果樹及其果實圖像，訓練不同尺度的分類器，通過滑動窗口對待撿圖像進行滑動檢測，確定疑是存在果實窗口，并將該窗口輸入卷積神經網絡進行果實檢測。

本發明的一種基于深度學習的蘋果采摘機器人果實目標檢測方法，具體步驟如下：

1.選取試點果園，使用移動式智能機器人搭載的相機，分別拍攝順光、逆光條件下，成熟蘋果果實圖片。

2.提取RGB或LUV色彩及梯度方向直方圖的融合特征作為特征池，采用多個不同標準尺度的AdaBoost分類器。

3.使用不同尺度的分類器，通過滑動窗口對待撿圖像進行滑動檢測，確定疑是存在果實窗口。

4.構建卷積神經網絡模型，將上一步確定的疑是存在果實窗口圖像歸一化，輸入該模型進行果實檢測。

本發明的優點是：避免了在檢測過程中構建圖像金字塔，極大提高了果實檢測速度。檢測結果具有較高的魯棒性與泛化性。

附圖說明

圖1是本發明的疑是存在果實窗口檢測流程圖。

圖2是本發明的卷積神經網絡結構圖。

圖3是本發明的實驗模型訓練流程圖。

圖4是本發明的實際檢測流程圖。

圖5是本發明的檢測結果示例圖，其中圖5a是單個無遮擋果實的原圖，圖5b是單個無遮擋果實的檢測結果；圖5c是有枝葉遮擋果實的原圖，圖5d是有枝葉遮擋果實的的檢測結果；圖5e是多個有重疊果實的原圖，圖5f是多個有重疊果實的原圖。

圖6是本發明方法的流程圖。

具體實施方式

下面結合附圖對本發明作進一步描述。

本發明的一種基于深度學習的蘋果采摘機器人果實目標檢測方法，具體包括如下步驟：

步驟1(樣本數據采集)：在蘋果收獲季節前往蘋果種植園，使用移動式智能機器人搭載的相機，選取盡可能多的角度，分別拍攝順光、逆光條件下的果樹果實圖片。將圖片中的蘋果果實部分裁剪為統一大小的正樣本，不含蘋果果實的部分裁剪為統一大小的負樣本，正樣本數與負樣本數均至少為5000。

步驟2(提取融合特征)：使用matlab中image函數提取RGB或LUV色彩分量，通過梯度方向直方圖提取檢測目標的邊緣梯度信息，提取方式如下：

將圖像I劃分成若干個塊狀結構(記為BLOCK)，然后對每一個劃分的BLOCK按照“田字格”規則均分成四個子塊(記為CELL)，并統計每個CELL所屬區域內像素點的梯度在不同方向上的分布得到了CELL的特征，最后將分別屬于四個CELL的特征組合在一起形成了BLOCK的特征向量。設(x,y)為任意一個CELL中的像素點坐標，則其水平方向的梯度為G_x(x,y)，垂直方向的梯度為G_y(x,y)，梯度幅值為G(x,y)，以及梯度的方向為θ(x,y)，分別由公式(1)、(2)、(3)、(4)計算得出：

G_x(x,y)＝I(x+1,y)-I(x-1,y)(1)