[發明專利]果實分割識別方法及系統、果實采摘機器人

在審

• 申請號: 202011519247.6
• 申請日: 2020-12-21
• 公開（公告）號: CN112541508A
• 公開（公告）日: 2021-03-23
• 發明（設計）人: 賈偉寬;張中華;邵文靜;侯素娟;鄭元杰
• 申請（專利權）人: 山東師范大學
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/34;G06K9/32;G06N3/08;G06N3/04
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 朱忠范

1.一種果實分割識別方法，其特征在于，包括：

步驟S110：采集果園環境下包含不同干擾的果實圖像，并標注果實圖像中的目標果實的輪廓；

步驟S120：提取標注后的果實圖像中目標果實尺度大小與目標缺失果實的特征；

步驟S130：將步驟S120得到的特征圖輸送至區域候選網絡，經非極大值抑制獲取相同尺度的感興趣區域；

步驟S140：相同尺度的感興趣區域通過兩個全連接層與一個全卷積網絡預測果實置信度、邊框坐標與分割掩膜；

步驟S150：計算果實置信度、邊框坐標與分割掩膜與標注值之間的損失，并通過梯度回傳更新網絡參數，不斷迭代至參數穩定，得到識別模型，對果園環境圖像中的果實進行分割識別。

2.根據權利要求1所述的果實分割識別方法，其特征在于，所述步驟S120具體包括：

步驟S121：標注后的果實圖像分批輸入到殘差網絡中，通過卷積操作進行連續下采樣；

步驟S122：引入特征金字塔網絡，通過自上至下以及橫向連接整合殘差網絡中的各層特征表示；

步驟S123：采樣特征金字塔網絡中的各層特征圖至相同尺度并整合，通過高斯非局部注意力機制聚合全圖信息，將聚合后的的特征表示回采樣并重新融合，得到平衡后的特征金字塔，輸出平衡后的特征圖。

3.根據權利要求2所述的果實分割識別方法，其特征在于，所述步驟S130具體包括：

步驟S131：將平衡后的特征圖輸入到區域候選網絡中，以特征圖上每一個空間位置對應在原圖上的坐標為中心，按照不同的尺寸與寬高比生成預定義錨框；

步驟S132：基于每一個錨框與所有標注框之間的交并比，判定正負樣本，并生成區域候選網絡的訓練目標，通過分類分支與回歸分支，對目標果實進行初步預測；

步驟S133：將生成的候選框通過邊界剔除與非極大值抑制進行篩選，再按照置信度排序選擇前N個候選框，按照一定比例選擇正負樣本并輸入到RoI Align層采樣至相同尺寸。

4.根據權利要求3所述的果實分割識別方法，其特征在于，所述步驟S140具體包括：

步驟S141：將相同尺寸的感興趣區域輸入到兩個全連接分支，分別輸出每個候選框屬于目標果實的概率向量，以及對應的邊框偏移量；

步驟S142：與所述兩個全連接分支并行一個全卷積網絡實現目標果實掩膜預測，針對每個候選框分割出多維度的特征表示，并進行二值化，產生背景與前景的分割圖。

5.根據權利要求4所述的果實分割識別方法，其特征在于，所述步驟S150具體包括：

將果實置信度、邊框坐標與分割掩膜與標注值之間的損失相加，得到最終的損失函數，利用隨機梯度下降法進行反向傳播，不斷優化模型參數至穩定，擬合訓練數據，得到識別模型。

6.一種果實分割識別系統，其特征在于，包括：

采集模塊，用于采集果園環境下包含不同干擾的果實圖像，并標注果實圖像中的目標果實的輪廓；

第一提取模塊，用于提取標注后的果實圖像中目標果實尺度大小與目標缺失果實的特征，得到特征圖；

第二提取模塊，用于結合區域候選網絡，經非極大值抑制獲取特征圖中相同尺度的感興趣區域；

預測模塊，用于將相同尺度的感興趣區域通過兩個全連接層與一個全卷積網絡預測果實置信度、邊框坐標與分割掩膜；

識別模塊，用于計算果實置信度、邊框坐標與分割掩膜與標注值之間的損失，并通過梯度回傳更新網絡參數，不斷迭代至參數穩定，得到識別模型，對果園環境圖像中的果實進行分割識別。

7.根據權利要求6所述的果實分割識別系統，其特征在于，所述第一提取模塊包括：

采樣單元，用于將標注后的果實圖像結合到殘差網絡中，通過卷積操作進行連續下采樣；

特征表示單元，用于引入特征金字塔網絡，通過自上至下以及橫向連接整合殘差網絡中的各層特征表示；

平衡單元，用于采樣特征金字塔網絡中的各層特征圖至相同尺度并整合，通過高斯非局部注意力機制聚合全圖信息，將聚合后的的特征表示回采樣并重新融合，得到平衡后的特征金字塔，輸出平衡后的特征圖。