[發明專利]一種基于深度學習后優化的葡萄果梗精準識別方法

有效

• 申請號: 202010574770.2
• 申請日: 2020-06-22
• 公開（公告）號: CN111738151B
• 公開（公告）日: 2023-10-10
• 發明（設計）人: 羅陸鋒;廖嘉欣;寧政通;李嘉滔;林揚揚;董鈺挺;陳毓敏;陳玥彤
• 申請（專利權）人: 佛山科學技術學院
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/25;G06T7/00;G06T7/90;G06T7/136;G06T7/13
• 代理公司: 北京八月瓜知識產權代理有限公司 11543
• 代理人: 李斌

本發明提供了一種基于深度學習后優化的葡萄果梗精準識別方法，其包括：1，采集并標注葡萄果梗圖片；2，通過深度學習模型Mask R?CNN對標注后的葡萄果梗圖片進行識別，獲取預識別葡萄果梗區域；3，根據預識別葡萄果梗區域，獲取葡萄果梗輪廓坐標以及葡萄果梗區域坐標；4，獲取葡萄果梗輪廓的H、S、V通道值以及葡萄果梗區域的H、S、V通道值；5，分別計算葡萄果梗區域的H通道平均值、S通道平均值以及V通道平均值；6，將葡萄果梗輪廓選取為種子點，基于種子點并按照區域生長準則進行區域生長。本發明可以實現在自然環境下對葡萄果梗的識別，解決自然果園場景下葡萄果梗因為光線變化、遮擋導致的難識別的問題。

技術領域

本發明涉及水果采摘技術領域，具體而言，涉及一種基于深度學習后優化的葡萄果梗精準識別方法。

背景技術

葡萄具有極高的營養、經濟價值，其不僅富含人類必須的氨基酸和維生素，而且在釀酒領域遠近聞名。隨著科技的進步，人力成本的提升，未來采摘機器人智能化采摘葡萄是必不可少的。采摘機器人進行采摘的方式主要有二：1.拉拽式，此方法適用于果梗拽落不會對其本身有影響的水果，如蘋果或者獼猴桃等；2.握切式，此方法適用于果實皮軟、具有粗壯果梗且果梗拽落會影響新鮮度的水果，如葡萄等。因此葡萄采摘機器人在采摘時須識別葡萄果梗，并切割葡萄果梗。

傳統葡萄采摘機器人依靠顏色閾值分割來識別葡萄果梗，即通過設定一個顏色閾值，把滿足此顏色閾值的區域設定為果梗區域，然后再對葡萄果梗進行切割。由于采摘機器人在自然環境下工作時，視覺系統首先會獲取一片范圍的圖像，并對此范圍的圖像進行識別，而該范圍內的視覺系統受光照，遮擋等現實因素影響，可能導致滿足此顏色閾值的范圍變大，因此這種通過設定顏色閾值并依靠顏色閾值分割識別葡萄果梗的方法，并不適用于復雜的自然環境，只適用于特定小場景。

發明內容

為了克服傳統葡萄采摘機器人依靠顏色閾值分割來識別葡萄果梗，并不適用于復雜的自然環境的問題，本發明提供了一種基于深度學習后優化的葡萄果梗精準識別方法，其具體技術方案如下：

一種基于深度學習后優化的葡萄果梗精準識別方法，其包括如下步驟：

步驟1，采集葡萄果梗圖片，并對葡萄果梗圖片進行標注；

步驟2，通過深度學習模型Mask R-CNN對標注后的葡萄果梗圖片進行識別，獲取預識別葡萄果梗區域；

步驟3，根據預識別葡萄果梗區域，獲取葡萄果梗輪廓坐標以及葡萄果梗區域坐標；

步驟4，根據葡萄果梗輪廓坐標獲取葡萄果梗輪廓的H通道值{D_j(0＜j＜n)}、S通道值{E_j(0＜j＜n)}和V通道值{F_j(0＜j＜n)}，以及根據葡萄果梗區域坐標獲取葡萄果梗區域的H通道值{A_i(0＜i＜n)}、S通道值{B_i(0＜i＜n)}和V通道值{C_i(0＜i＜n)}，其中n為大于1的整數；

步驟5，分別計算葡萄果梗區域的H通道平均值a＝{A_i(0＜i＜n)}/n、S通道平均值b＝{B_i(0＜i＜n)}/n以及V通道平均值c＝{C_i(0＜i＜n)}/n；

步驟6，將葡萄果梗輪廓選取為種子點，基于種子點并按照區域生長準則進行區域生長。