[發(fā)明專利]果蔬采摘機器人的智能識別方法

在審

• 申請?zhí)枺?/td>: 202010640497.9
• 申請日: 2020-07-06
• 公開（公告）號: CN111783693A
• 公開（公告）日: 2020-10-16
• 發(fā)明（設(shè)計）人: 吳浩
• 申請（專利權(quán)）人: 深圳市多彩匯通實業(yè)有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/40;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 合肥律眾知識產(chǎn)權(quán)代理有限公司 34147
• 代理人: 鄧盛花

1.果蔬采摘機器人的智能識別方法，其特征在于：包括以下步驟：

S1：在自然光作用下，獲取果蔬圖像；

S2：圖像預(yù)處理，采用矢量中值濾波的圖像增強方法增強圖像；

S3：對S2處理后的圖像采用HLS顏色模型中色度分量算法進行圖像超像素分割，并去除圖像中的噪聲干擾；

S4：提取S3中圖像超像素分割后每一個超像素的顏色特征和紋理特征；

S5：使用預(yù)先訓(xùn)練好的SVM分類器將超像素分為果蔬和背景兩類，獲得果蔬模板圖像，并去除面積小于300像素的連通區(qū)域；

S6：將S5獲得的果蔬模板圖像與預(yù)先訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)檢測模型圖像對比，判斷果蔬的成熟度，判定結(jié)果合格的果蔬進行采摘，不合格的果蔬則不進行采摘；

S7：確定目標果蔬的圓心坐標，對S6中合格的目標果蔬進行圓形擬合，并確定擬合后的圓心坐標；

S8：匹配識別與定位，根據(jù)S7得到的圓心坐標，采用快速歸一化互相關(guān)匹配對果蔬進行快速識別與定位。

2.根據(jù)權(quán)利要求1所述的果蔬采摘機器人的智能識別方法，其特征在于：所述S1中使用CCD攝像機采集圖像。

3.根據(jù)權(quán)利要求2所述的果蔬采摘機器人的智能識別方法，其特征在于：所述S2中，對圖像預(yù)處理方法為將給定窗口中所有矢量X(x,y)＝[r(x,y),g(x,y),b(x,y)]^T取平均，得到平均矢量計算窗口中矢量X(x,y)到平均矢量的距離，把距離最小的矢量作為窗口中心像素的輸出值；

設(shè)原始圖像集合X(x,y)的大小為M×N，用一個n×n窗口進行矢量中值濾波，其算法如下：

通過求解r、g、b平均值，計算窗口平均矢量

計算各矢量到平均矢量的距離S_xy，比較S_xy的大小，取得最小的S_min；

用S_min所對應(yīng)的像素X_min作為該窗口的矢量中值，用它代替窗口中心像素矢量。

4.根據(jù)權(quán)利要求3所述的果蔬采摘機器人的智能識別方法，其特征在于：所述S3中圖像超像素分割是將HLS模型下的色度圖像投影到色度直方圖上，求出概率較大的幾個顏色點作為備選生長點，接下來選取這些備選生長點所在的5*5像素區(qū)域，設(shè)置閥值，統(tǒng)計在這一區(qū)域內(nèi)小于閥值的像素數(shù)；如果大于閥值，認為像素周圍是目標實體，即為果蔬果蔬，如果小于閥值，認為可能備選生長點正好選到了一些與目標顏色相近似的孤立點，則舍棄這個備選生長點，選擇新的生長點。

5.根據(jù)權(quán)利要求4所述的果蔬采摘機器人的智能識別方法，其特征在于：所述S3中，去除圖像中的噪聲干擾采用數(shù)學(xué)形態(tài)中的開閉運算消除噪聲。

6.根據(jù)權(quán)利要求1所述的果蔬采摘機器人的智能識別方法，其特征在于：所述卷積神經(jīng)網(wǎng)絡(luò)檢測模型的構(gòu)建方法為：

A1：選取m個成熟度不一的果實，在自然光作用下，每個果實從n角度獲取果實圖像，并且計算果實的果糖濃度；

A2：圖像預(yù)處理，采用矢量中值濾波的圖像增強方法增強圖像；然后圖像采用HLS顏色模型中色度分量算法進行圖像超像素分割，并去除圖像中的噪聲干擾；

A3：提取S3中圖像超像素分割后每一個超像素的顏色特征和紋理特征；

A4：使用預(yù)先訓(xùn)練好的SVM分類器將超像素分為果蔬和背景兩類，獲得果實模板圖像，并去除面積小于300像素的連通區(qū)域；

A5：將A4得到的果實模板圖像隨機劃分為訓(xùn)練集和測試集；

A6：構(gòu)造卷積神經(jīng)網(wǎng)絡(luò)，具體為：卷積神經(jīng)網(wǎng)絡(luò)為8層卷積神經(jīng)網(wǎng)絡(luò)，包括3個卷積層，3個池化層，2個全連接層；其中，3個卷積層為卷積層C1、卷積層C3、卷積層C5，3個池化層為池化層P2、池化層P4、池化層P6，2個全連接層為全連接層F7、全連接層F8；卷積神經(jīng)網(wǎng)絡(luò)的輸入為n張果實模板圖像，輸出為果糖濃度；卷積層C1和池化層P2的特征圖數(shù)量為10，卷積層C3和池化層P4的特征圖數(shù)量為16，卷積層C5和池化層P6的特征圖數(shù)量為24，全連接層F7設(shè)置神經(jīng)元個數(shù)為1024，全連接層F8設(shè)置神經(jīng)元個數(shù)為1；

A7：訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，包括以下子步驟：

A7.1：初始化卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)權(quán)重和網(wǎng)絡(luò)參數(shù)偏置；

A7.2：將訓(xùn)練集及其對應(yīng)的果糖濃度輸入A7.1初始化后的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練，得到實際輸出；

A7.3：使用步驟A7.2得到的實際輸出和訓(xùn)練集對應(yīng)的果糖濃度之間的均方差作為損失函數(shù)，結(jié)合反向傳播算法，通過ADam梯度下降方式減小損失函數(shù)并調(diào)整卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)，完成卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，得到卷積神經(jīng)網(wǎng)絡(luò)檢測模型。