[發(fā)明專利]一種基于改進YOLOv3的樹上果實識別方法

有效

• 申請?zhí)枺?/td>: 202011293795.1
• 申請日: 2020-11-18
• 公開（公告）號: CN112329697B
• 公開（公告）日: 2022-04-12
• 發(fā)明（設(shè)計）人: 陸聲鏈;劉曉宇;李幗;陳文康
• 申請（專利權(quán)）人: 廣西師范大學(xué)
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/762;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 桂林市華杰專利商標事務(wù)所有限責任公司 45112
• 代理人: 楊雪梅

本發(fā)明公開了一種基于改進YOLOv3的樹上果實識別方法，包括如下步驟：S1、圖像的獲取；S2、圖像預(yù)處理；S3、設(shè)置網(wǎng)絡(luò)模型參數(shù)；S4、對原YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)進行改進，得到改進后的YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)；S5、訓(xùn)練網(wǎng)絡(luò)模型；S6、運用訓(xùn)練完成的網(wǎng)絡(luò)模型權(quán)重進行識別。這種方法可以精準識別大面積聚簇重疊的樹上果實，識別精度高、速度快，能滿足實時識別的需要。

技術(shù)領(lǐng)域

本發(fā)明涉及目標檢測技術(shù)領(lǐng)域，具體是一種基于改進YOLOv3的樹上果實識別方法。

背景技術(shù)

我國是世界水果生產(chǎn)大國,水果種類位于世界排名前列，栽培面積位居世界第一。噴藥、水果采摘、采后分揀等作業(yè)果樹生產(chǎn)的重要環(huán)節(jié)，當前我國實際生產(chǎn)中，限于技術(shù)及經(jīng)濟投入等因素，這些作業(yè)大多數(shù)都依靠人工完成，使得我國水果生產(chǎn)的成本居高，效率低下。近年來，隨著信息技術(shù)的迅猛發(fā)展，不少研究者借助計算機視覺識別技術(shù)輔助進行果園產(chǎn)量評估、自動采摘、病害防控和水果分揀等應(yīng)用，其中果實的識別和定位是核心技術(shù)之一。然而，由于在果園環(huán)境下易受光照、氣候、風等自然條件的影響，所以自然條件下樹上果實的識別和定位尚存在較多問題，成為果園水果自動采摘、產(chǎn)量評估等應(yīng)用自動化的主要制約因素之一。

為此，大量研究者圍繞果園果實的自動識別與定位問題開展了許多研究，并提出了一些解決方法。其中，前期較多的研究是基于圖像特征的提取方法，主要考慮圖像的顏色特征、紋理特征、形狀特征和空間關(guān)系特征。基于顏色直方圖特征匹配方法主要有直方圖相交法、參考顏色表法等，由于顏色無法衡量圖像的方向和大小，所以不能很好提取圖像的局部特征。基于紋理特征提取常用的方法是灰度共生矩陣法和半方差圖，常用的模型有隨機場模型和分形模型，而紋理是居于區(qū)域的概念，所以會導(dǎo)致過度區(qū)域化而忽略了全局特征。基于形狀特征提取的方法主要有邊界特征法、幾何參數(shù)法等，而對于形變目標識別效果不佳。部分研究者提出基于機器視覺的果實自動識別技術(shù)，根據(jù)機器視覺原理, 進行圖像采集。將果實的圖像進行平滑、銳化等預(yù)處理后,在RGB顏色空間內(nèi)計算果實顏色樣本值, 并根據(jù)樣本值進行圖像分割, 最后利用分割的結(jié)果進行特征提取。使用這種方法，果實識別的準確率接近90%。

近年來，人工智能技術(shù)，尤其是深度學(xué)習興起，在計算機視覺領(lǐng)域引起了突破性的變革。有研究者提出了基于卷積神經(jīng)網(wǎng)絡(luò)的果實識別方法，并相繼實現(xiàn)了Fast R-CNN、YOLO等目標檢測算法。這類方法通常首先獲取果實的RGB圖片，并進行預(yù)處理和標注，構(gòu)建數(shù)據(jù)集，搭建好卷積神經(jīng)網(wǎng)絡(luò)，設(shè)置好網(wǎng)絡(luò)模型的參數(shù)后，將訓(xùn)練集放入卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，最后就能得到果實識別模型。現(xiàn)有基于卷積神經(jīng)網(wǎng)絡(luò)的果實識別方法中，一個缺點是在識別樹上果實時，過于注重對小目標的識別精度，沒有考慮卷積神經(jīng)網(wǎng)絡(luò)的深度和檢測速度；另一個不足是面對聚簇和重疊的樹上果實目標時，無法做到精準識別，存在誤識別。

果園生長中果實的個體、顏色等特征隨著生長周期而表現(xiàn)出差異，即使同一品種的果樹，生長出的果實擁有不同特征、姿態(tài)和遮擋程度等，不同品種的果樹更是有不同的性狀特征。此外，在果實的生長過程中，光照強弱、水肥管理方式、病蟲害等復(fù)雜環(huán)境因素都會影響最終樹上果實的識別。因此，在果園環(huán)境下識別樹上果實時，十分需要將果實自身的因素和果園復(fù)雜環(huán)境的影響考慮在內(nèi)。

發(fā)明內(nèi)容

本發(fā)明的目的是針對現(xiàn)有技術(shù)的不足，而提供一種基于改進YOLOv3的樹上果實識別方法。這種方法可以精準識別大面積聚簇重疊的樹上果實，識別精度高、速度快，能滿足實時識別的需要。

實現(xiàn)本發(fā)明目的的技術(shù)方案是：

一種基于改進YOLOv3的樹上果實識別方法，包括如下步驟：

S1、圖像的獲取：用戶使用數(shù)碼相機或其他圖像采集設(shè)備對結(jié)有果實的果樹進行圖像采集，圖像采集時間包括果實生長早期、中期和成熟期的不同階段，拍攝圖像的時間點分布在早上、中午、下午不同時段，以便所拍攝的圖像中，包括不同時間段的圖像，最后將采集到的圖像按照Pascal VOC數(shù)據(jù)集的格式將圖片命名，同時創(chuàng)建名為Labeleds、PictureSets、ResultSets的三個文件夾；