[發(fā)明專利]一種基于卷積神經(jīng)網(wǎng)絡(luò)的果實(shí)生長(zhǎng)形態(tài)視覺(jué)辨識(shí)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202111067533.8
• 申請(qǐng)日: 2021-09-13
• 公開(kāi)（公告）號(hào): CN113837039B
• 公開(kāi)（公告）日: 2023-10-24
• 發(fā)明（設(shè)計(jì)）人: 呂繼東;許浩;徐黎明;李文杰;鄒凌;戎海龍;楊彪;馬正華
• 申請(qǐng)（專利權(quán)）人: 常州大學(xué)
• 主分類(lèi)號(hào): G06V20/68
• 分類(lèi)號(hào): G06V20/68;G06V10/82;G06V10/774;G06N3/0464;G06N3/048;G06N3/084
• 代理公司: 常州市英諾創(chuàng)信專利代理事務(wù)所(普通合伙) 32258
• 代理人: 王美華

本發(fā)明涉及卷積神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)的果實(shí)生長(zhǎng)形態(tài)視覺(jué)辨識(shí)方法，包括以下步驟：S1、圖像采集：采集果園不同形態(tài)的果實(shí)圖像，并對(duì)圖像進(jìn)行標(biāo)注；S2、圖像增強(qiáng)：將采集到的圖像進(jìn)行數(shù)據(jù)增強(qiáng)以擴(kuò)充數(shù)據(jù)集；S3、搭建卷積神經(jīng)網(wǎng)絡(luò)模型；S4、使用SGD優(yōu)化器對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化；S5、使用訓(xùn)練完的最優(yōu)模型對(duì)測(cè)試集進(jìn)行檢測(cè)，給出每個(gè)目標(biāo)的預(yù)測(cè)框、類(lèi)別和置信度。本發(fā)明基于深度學(xué)習(xí)技術(shù)提出了果實(shí)生長(zhǎng)形態(tài)的辨識(shí)方法，該方法與Faster?RCNN、YOLO算法相比，有更高的識(shí)別準(zhǔn)確率和更快的識(shí)別速度，同時(shí)模型參數(shù)量也更少。

技術(shù)領(lǐng)域

本發(fā)明涉及卷積神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，尤其涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)的果實(shí)生長(zhǎng)形態(tài)視覺(jué)辨識(shí)方法。

背景技術(shù)

我國(guó)是一個(gè)農(nóng)業(yè)大國(guó)，水果產(chǎn)業(yè)是種植業(yè)中位列糧食、蔬菜之后的第三大產(chǎn)業(yè)。近年來(lái)，我國(guó)的水果產(chǎn)業(yè)發(fā)展尤為迅速，種植面積和產(chǎn)量快速擴(kuò)張，水果產(chǎn)業(yè)已然形成規(guī)模優(yōu)勢(shì)，并在不斷壯大。但目前大部分水果采摘仍然主要靠手工完成，耗時(shí)費(fèi)力，勞動(dòng)強(qiáng)度大；再者，隨著人口老齡化和農(nóng)業(yè)勞動(dòng)力的減少，手工采摘費(fèi)用也相應(yīng)提高，由此影響水果的市場(chǎng)競(jìng)爭(zhēng)力。因此果園果實(shí)適時(shí)高效采收、降低采摘成本尤為重要。基于機(jī)器視覺(jué)的果蔬采摘機(jī)器人可充分利用其信息感知能力對(duì)果實(shí)進(jìn)行識(shí)別采摘，提高采摘效率，從而提升經(jīng)濟(jì)效益，增加農(nóng)民收入，已經(jīng)成為國(guó)內(nèi)外智能農(nóng)機(jī)裝備領(lǐng)域的研究熱點(diǎn)。然而目前采摘機(jī)器人實(shí)用化產(chǎn)品很少，鮮有大量應(yīng)用，其主要原因是智能化程度還比較低。鑒于以上情況，開(kāi)展果實(shí)采摘機(jī)器人相關(guān)技術(shù)研究，實(shí)現(xiàn)果園果實(shí)的機(jī)械自動(dòng)智能化采摘具有重大現(xiàn)實(shí)意義。

果蔬的生長(zhǎng)形態(tài)多種多樣，不同生長(zhǎng)形態(tài)的果蔬對(duì)于采摘機(jī)器人來(lái)說(shuō)其采摘機(jī)制應(yīng)當(dāng)是不同的，由此在果蔬采摘機(jī)器人作業(yè)中，其工作的首要任務(wù)是能夠視覺(jué)辨識(shí)出不同生長(zhǎng)形態(tài)的果蔬，然后機(jī)器人才能選用相應(yīng)方法來(lái)完成不同生長(zhǎng)形態(tài)果蔬的順利采摘。但是目前大多數(shù)研究關(guān)注的是單類(lèi)生長(zhǎng)形態(tài)果蔬的辨識(shí)問(wèn)題，而針對(duì)不同生長(zhǎng)形態(tài)果蔬的一體化辨識(shí)還少有系統(tǒng)研究，然其卻是最終必須要解決的必要環(huán)節(jié)。目前在國(guó)內(nèi)外現(xiàn)有文獻(xiàn)中，少有果蔬生長(zhǎng)形態(tài)視覺(jué)辨識(shí)方面的專題研究，而只是在果實(shí)辨識(shí)研究的過(guò)程中對(duì)單一重疊遮擋和枝葉遮擋果實(shí)的生長(zhǎng)形態(tài)判定略有涉及。中國(guó)農(nóng)業(yè)大學(xué)張亞靜等人通過(guò)確定單個(gè)果實(shí)面積閾值，計(jì)算采集圖像分割后每個(gè)區(qū)域的面積來(lái)判定是否為多果重疊情況。江蘇大學(xué)蔡健榮等人則是通過(guò)分割后的柑橘果實(shí)圖像中最小外接矩形邊長(zhǎng)閾值a/b1.4來(lái)判斷果實(shí)是否存在重疊。中國(guó)農(nóng)業(yè)大學(xué)荀一等人約定如果兩個(gè)或多個(gè)蘋(píng)果果實(shí)擬合圓重疊部分大于其中最小圓的1/2時(shí)，認(rèn)為一個(gè)蘋(píng)果果實(shí)由于枝葉遮擋被分割成幾個(gè)不同的目標(biāo)，將其算作枝葉遮擋形態(tài)果實(shí)。而在采摘機(jī)器人多生長(zhǎng)形態(tài)果蔬辨識(shí)方法研究方面，申請(qǐng)?zhí)朇N201310188346.4專利，提出基于幾何計(jì)算與區(qū)域映射相結(jié)合的方法由粗到精來(lái)進(jìn)行辨識(shí)。上述文獻(xiàn)多只是單一果蔬生長(zhǎng)形態(tài)的判定，而又過(guò)于簡(jiǎn)單化；而本團(tuán)隊(duì)前期所研究多生長(zhǎng)形態(tài)果蔬辨識(shí)方法則傳統(tǒng)繁雜，適用性有限，總之至今尚無(wú)一個(gè)完善較為成熟的不同生長(zhǎng)形態(tài)果蔬的辨識(shí)方法。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問(wèn)題是：基于深度學(xué)習(xí)搭建網(wǎng)絡(luò)，來(lái)實(shí)現(xiàn)蘋(píng)果果實(shí)生長(zhǎng)形態(tài)的辨識(shí)，使得采摘機(jī)器人能夠自動(dòng)視覺(jué)辨識(shí)果實(shí)生長(zhǎng)形態(tài)，為進(jìn)一步對(duì)其選用相應(yīng)的采摘機(jī)制奠定基礎(chǔ)。

本發(fā)明所采用的技術(shù)方案：一種基于卷積神經(jīng)網(wǎng)絡(luò)的果實(shí)生長(zhǎng)形態(tài)視覺(jué)辨識(shí)方法，包括以下步驟：

S1、圖像采集：使用單反拍攝若干果園不同形態(tài)的果實(shí)圖像，并對(duì)圖像進(jìn)行標(biāo)注，不同形態(tài)的果實(shí)圖像共有四種形態(tài)，包括：無(wú)枝莖遮擋單個(gè)果實(shí)、枝莖遮擋單個(gè)果實(shí)、無(wú)枝莖遮擋重疊果實(shí)和枝莖遮擋重疊果實(shí)；

S2、圖像增強(qiáng)：將采集到的果實(shí)圖像進(jìn)行數(shù)據(jù)增強(qiáng)以擴(kuò)充數(shù)據(jù)集，數(shù)據(jù)增強(qiáng)方法包括飽和度調(diào)整、對(duì)比度調(diào)整、翻轉(zhuǎn)以及清晰度調(diào)整，并隨機(jī)將圖像按6：2：2的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集；