[發明專利]一種基于深度學習的蘋果采摘機器人果實目標檢測方法

在審

• 申請號: 201710665266.1
• 申請日: 2017-08-07
• 公開（公告）號: CN107633199A
• 公開（公告）日: 2018-01-26
• 發明（設計）人: 王萬良;鞠振宇;邱虹;楊平;應森亮;鄭建煒
• 申請（專利權）人: 浙江工業大學;浙江工業大學義烏科學技術研究院有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 杭州天正專利事務所有限公司33201
• 代理人: 王兵,黃美娟

1.一種基于深度學習的蘋果采摘機器人果實目標檢測方法，包括如下步驟：

步驟1.樣本數據采集：在蘋果收獲季節前往蘋果種植園，使用移動式智能機器人搭載的相機，選取盡可能多的角度，分別拍攝順光、逆光條件下的果樹果實圖片；將圖片中的蘋果果實部分裁剪為統一大小的正樣本，不含蘋果果實的部分裁剪為統一大小的負樣本，正樣本數與負樣本數均至少為5000；

步驟2.提取融合特征：使用matlab中image函數提取RGB或LUV色彩分量，通過梯度方向直方圖提取檢測目標的邊緣梯度信息，提取方式如下：

將圖像I劃分成若干個塊狀結構BLOCK，然后對每一個劃分的BLOCK按照“田字格”規則均分成四個子塊CELL，并統計每個CELL所屬區域內像素點的梯度在不同方向上的分布得到了CELL的特征，最后將分別屬于四個CELL的特征組合在一起形成了BLOCK的特征向量；設(x,y)為任意一個CELL中的像素點坐標，則其水平方向的梯度為G_x(x,y)，垂直方向的梯度為G_y(x,y)，梯度幅值為G(x,y)，以及梯度的方向為θ(x,y)，分別由公式(1)、(2)、(3)、(4)計算得出：

G_x(x,y)＝I(x+1,y)-I(x-1,y)(1)

G_y(x,y)＝I(x,y+1)-I(x,y-1)(2)

G(x,y)=(Gx(x,y))2-(Gy(x,y))2---(3)]]>

θ(i,j)=arctan(Gy(x,y)Gx(x,y))---(4)]]>

在CELL中的所有像素點都按照上述公式計算完畢之后，該CELL就可以用一個基于方向的直方圖來表示；該直方圖的橫坐標表示的是梯度方向，縱坐標表示的是對應幅值的累加和；

隨機選擇一種通道，再使用一個大小隨機、最小為25像素的矩形區域使用積分圖進行像素值求和；每一張圖像可以得到約5000個通道特征，這些特征構成一個特征集合，用于訓練弱分類器的特征將隨機從這些特征集合中選取；

步驟3.分類器訓練：使用步驟2中的特征集合訓練adaboost分類器，其算法過程如下：

(S1)初始化樣本權重，w＝1/N，設置最大誤檢率f_max，最小檢測率d_min；

(S2)計算弱分類器的錯誤率，選取合適的閾值，使得誤差最??；

(S3)根據上述結果，更新樣本權重；權重更新如公式(5)所示，其中i為樣本編號，w_i為樣本對應的原權重，c_i為上一次分類結果，y_i為原始類別標簽：

w＝w_i*exp(-y_i*c_i)(5)

(S4)將迭代產生的t個弱分類器線性組合成一個狀態分類器，如公式(6)所示，H(x)為組合分類器的輸出；

H(x)=1Σk=1tαkhk(x)≥12Σk=1tαk0other---(6)]]>

其中h_k(x)為弱分類器的輸出，α表示h(x)在最終分類器中的重要程度，error表示錯誤率；

(S5)對每個正樣本計算H(x)，統計其分類結果，計算分類器的檢測率；若該檢測率低于預先設定的目標檢測率，則降低該分類器的閾值，提高檢測率；

步驟4.滑動窗口檢測：用滑動窗口在整幅圖像上以一定的步長滑動，直到遍歷完整幅圖像，遍歷過程中將窗口放入步驟3中訓練完成的分類器中進行分類，若判定該窗口為蘋果果實，則將該窗口標定出來作為疑是存在果實窗口，否則繼續滑動；某個尺度的滑動窗口滑動完畢后，下一個尺度的滑動窗口將繼續上一步的步驟，直到所有尺度的分類器滑動完成；

步驟5.卷積神經網絡檢測：構建卷積神經網絡模型，將步驟4確定的疑是存在果實窗口輸出至該模型進行果實檢測；

其中卷積神經網絡模型相關描述如下：

卷積神經網絡模型依次由輸入層、卷積層、池化層、卷積層、池化層、輸出層組成；疑是果實存在窗口圖像作為輸入層，卷積層C層為特征提取層，池化層S層位于卷積層后，是一個二次提取的計算層；第二個S層，即完成了對原始數據的特征提取后，把S層的特征數據進行向量化，然后連接到分類器，經輸出層輸出類別結果；

卷積層用卷積核(一個特征矩陣)在圖像矩陣上游走，在對應位置元素相乘，再把相乘的結果相加，最后相加的結果形成新的圖像矩陣，游走完成后即完成了對原始圖像的卷積變換，形成此卷積核下的特征提??；

在通過卷積獲得了特征之后，對特征矩陣分區域進行平均值池化，降低特征維度；

輸出層輸出實際類別，與樣本的類別標簽對比，反向調整權值，直至實際輸出與類別標簽盡可能接近，調整迭代次數直至誤差函數收斂；

卷積神經網絡的訓練過程包含前向傳播與反向傳播兩個過程；

前向傳播將上一層的輸出加權求和后，經由激活函數輸出結果，該結果又作為下一層的輸入，繼續加權求和，由激活函數輸出，如此反復，直到網絡模型最后的輸出層；l層為當前層，當前層的輸出結果為a^(l),W表示權值，b表示偏置，下一層則為l+1層，l層的輸出結果a^(l)作為l+1層的輸入結果，z^(l+1)為l層輸出結果的加權和，經由激活函數計算得到l+1層輸出結果a^(l+1)，激活函數f(z)＝1/(1+e^-z)為sigmod函數；計算公式如公式(7)、公式(8)所示：

z^(l+1)＝W^(l)a^(l)+b^(l)(7)

a^(l+1)＝f(z^(l+1))(8)

接下來，通過反向傳播調整網絡模型的權值W和偏置b；反向傳播的核心是使代價函數J(W,b)最小化，從而使得誤差更小；具體計算過程如下：

(T1)公式(9)為代價函數計算公式：

J(W,b;x,y)=12||hW,b(x)-y||2---(9)]]>

其中h_W,b(x)為前向傳播最終輸出的實際結果，y為對應的樣本標簽，即期望輸出；

(T2)對于第n_l層(輸出層)的每個輸出單元i，根據公式(10)計算其殘差

δ(nl)=-(y-anl)·f′(z(nl))---(10)]]>

(T3)對l層(中間層)的第i個節點的殘差δ^(l)計算公式為式(11)：

δ^(l)＝((W^(l))^Tδ^(l+1))·f'(z^(l))(11)

(T4)分別計算J(W,b)的偏導數▽_W(l)J(W,b；x,y)和▽_b(l)J(W,b；x,y)，計算公式為式(12)：

▽_W(l)J(W,b；x,y)＝δ^(l+1)(a^(l))^T,

▽_b(l)J(W,b；x,y)＝δ^(l+1)(12)

(T5)更新權值參數W^(l)和偏置參數b^(l)如式(13)：

ΔW(l):=ΔW(l)+▿W(l)J(W,b;x,y)Δb(l):=Δb(l)+▿b(l)J(W,b;x,y)W(l)=W(l)-α[(1mΔW(l))+λW(l)]b(l)=b(l)-α[(1mΔb(l))]---(13)]]>

接著重復以上迭代步驟，不斷更新權值與偏置，減小J(W,b)的值，進而得出完整的卷積神經網絡；

步驟6.實際檢測：使用移動式智能機器人搭載的相機前往果園拍攝蘋果果樹畫面，經由步驟2至步驟5中訓練完成的卷積神經網絡模型檢測后，機器人視覺系統鎖定檢測到的果實目標，再經由控制系統控制機械手臂，采摘果實。