[發明專利]一種自然場景下多階段草莓果實快速檢測方法

有效

• 申請號: 202110354577.2
• 申請日: 2021-04-01
• 公開（公告）號: CN112926605B
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 王巖;孟慶魯;周艷聰;張波;胡德計;谷曉英;馬茜;楊丹丹
• 申請（專利權）人: 天津商業大學
• 主分類號: G06V10/40
• 分類號: G06V10/40;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 天津市三利專利商標代理有限公司 12107
• 代理人: 仝林葉

本發明公開了一種自然場景下多階段草莓果實快速檢測方法。本發明步驟是：采集自然場景下草莓圖像數據并制作數據集，輸入圖像，使用指揮網絡提取細節指導特征，使用深度可分離卷積進行降維，與細節指導特征相加后使用Drs_2模塊提取與特征，使用深度可分離卷積進行降維，與細節指導特征相加后使用Drs_4模塊提取與特征，使用深度可分離卷積進行降維，與細節指導特征相加后使用Drs_8模塊提取與特征，使用深度可分離卷積進行降維，與細節指導特征相加后使用Drs_8模塊提取與特征，進行兩級特征融合，使用增強損失函數計算增強損失，使用NMS非極大值抑制，得到檢測結果。本發明能夠快速同時檢測多種生長階段的草莓果實。

技術領域

本發明涉及一般的圖像數據處理，具體地說，是在自然場景下基于DL-YOLOv3(英文全稱Directorial and lightweight–You Only Look Once v3，結合指揮網絡的輕量級YOLOv3網絡)的多階段草莓果實快速檢測方法。

背景技術

草莓味道甜美，是人們喜愛的小漿果之一，在種植過程中，由于生長環境復雜和果實較小，人工采摘和生長觀測效率不高，人工成本一直在總支出中占較高比例。近年來，基于人工智能的農業機器人被引入生產過程中，執行勞動密集的采摘任務。但草莓種植生產過程提出了更高的要求：能夠快速對多個生長階段的果實進行檢測，這樣有利于連續監測作物生長和營養狀況，并且預估作物產量，優化農場種植過程。因此，對多階段草莓果實的快速檢測和識別成為了智能農業的最新研究方向。

由于不同生長階段的草莓果實外形有較大差異，草莓果實較小、在不同生長階段草莓數量不同導致的類別不平衡，給多階段草莓果實檢測任務帶來了較大困難。NikolasLamb等人在“A strawberry detection system using convolutional neural networks”一文中將模型壓縮后的SSD算法嵌入到硬件中用于檢測草莓果實，但該方法僅能檢測成熟果實。Xu Liming等人在“Automated strawberry grading system based on imageprocessing”一文中提取草莓的形狀、大小和顏色三個特征，利用多屬性決策理論對草莓自動分級，該方法處理的草莓圖像簡單，并非在真實生長環境中檢測草莓。Lin Mar Oo等人在“A simple and efficient method for automatic strawberry shape and sizeestimation and classification”一文中基于草莓果實形狀提取直徑、長度和頂角等特征，并輸入三層神經網絡進行分類，該方法處理的草莓圖像背景簡單，不適合在田間使用。CN111274877A公開了一種基于卷積神經網絡的草莓果實檢測方法，該方法只區分成熟和未成熟果實，不能檢測其他生長階段的草莓果實。CN110223349A公開了一種采摘點定位方法，該方法使用DenseNet與ResNet結構改進YOLOv3，由于參數較多導致模型復雜，檢測速度較慢。

發明內容

針對現有技術的不足，本發明所要解決的技術問題是：提出一種在自然場景下基于DL-YOLOv3的多階段草莓果實快速檢測方法。

本發明方法使用指揮網絡提取細節指導特征，與主干網絡結合形成雙流網絡，針對草莓果實特點去除大尺度目標檢測分支，使用深度可分離卷積代替普通卷積，大大減少了網絡模型參數量，得到改進的YOLOv3模型，即DL-YOLOv3網絡，本申請的網絡結構不僅體積較小，還能檢測到多階段包括尺寸較小的草莓果實，另外通過指數增強二值交叉熵和二倍增強均方誤差結合的損失函數來增強模型對類別的關注度，解決了不同階段果實數量不平衡的問題，最終能夠在自然場景下對多階段的草莓果實進行快速精準檢測。

本發明一種在自然場景下基于DL-YOLOv3的多階段草莓果實快速檢測方法，將包含不同生長階段草莓果實的草莓圖像輸入到DL-YOLOv3網絡中，實現多階段草莓果實的快速檢測，具體步驟如下：

第一步，采集自然場景下草莓圖像數據并制作數據集：