[發明專利]一種基于采摘機器人視覺系統的目標采摘方法

在審

• 申請號: 202310210531.2
• 申請日: 2023-03-07
• 公開（公告）號: CN116363505A
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 陳鵬;張明年;章軍;夏懿;張波;龐春暉;孟維慶;杜健銘;王儒敬
• 申請（專利權）人: 中科合肥智慧農業協同創新研究院
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/25;G06V10/44;G06V10/75;G06V10/764;G06V10/82;G06N3/0464;G06N3/048;G06N3/08;G06T7/73
• 代理公司: 合肥國和專利代理事務所(普通合伙) 34131
• 代理人: 吳娜

1.一種基于采摘機器人視覺系統的目標采摘方法，其特征在于：該方法包括下列順序的步驟：

(1)使用相機采集原始果實圖像；

(2)對采集到的原始果實圖像進行預處理，經過預處理后的果實圖像組成數據集，將數據集劃分為訓練集、驗證集和測試集；

(3)建立Mask?R-CNN模型，將訓練集輸入Mask?R-CNN模型進行訓練，得到訓練好的MaskR-CNN模型；

(4)對訓練過程進行優化，得到訓練精度最高的Mask?R-CNN模型；

(5)在采摘機器人CPU上加載訓練精度最高的Mask?R-CNN模型，最終基于采摘機器人的視覺系統實現目標識別采摘。

2.根據權利要求1所述的基于采摘機器人視覺系統的目標采摘方法，其特征在于：所述步驟(2)具體包括以下步驟：

(2a)初步篩選：根據實際需求篩選出圖像清晰且含有果實目標的原始果實圖像1056張；

(2b)標注：使用labelme工具對經過初步篩選后的果實圖像進行標注，將成熟的果實標注為1，將不成熟的果實標注為0，除果實外的區域為背景，背景無需標注，建立標簽圖像，作為目標檢測的標簽；

(2c)數據集分類：將經過標注的果實圖像組成數據集，將數據集按照8：1：1的比例劃分為訓練集、驗證集和測試集；

(2d)數據擴增：對訓練集和驗證集中的每一幅圖像進行5種數據擴增，分別是旋轉90°、180°、270°水平、垂直翻轉色彩抖動和高斯噪聲，最終使得訓練集含有4000幅圖像，驗證集含有640幅圖像，測試集含有640幅圖像。

3.根據權利要求1所述的基于采摘機器人視覺系統的目標采摘方法，其特征在于：在步驟(3)中，所述Mask?R-CNN模型包括用于提取輸入圖像特征圖的主干網絡、區域候選網絡、感興趣區域對齊層和區域卷積神經網絡，Mask?R-CNN模型采用殘差網絡和特征金字塔作為主干網絡的提取特征，主干網絡輸出特征圖至區域候選網絡，區域候選網絡生成感興趣區域，提出候選對象邊界框，感興趣區域對齊層將感興趣區域和主干網絡輸出的特征圖進行匹配，完成特征圖特征聚集并池化為固定大小，再經過全連接層輸出到區域卷積神經網絡中，區域卷積神經網絡包括第一分支、第二分支和第三分支，所述第一分支通過softmax分類器實現果實的分類，所述第二個分支經過邊界框回歸器實現更精確的目標定位，所述第三個分支通過全卷積網絡完成對成熟果實的輪廓分割，并生成掩膜，最后將各個分支輸出信息綜合，得到包含類別、定位邊界框、分割掩膜的果實圖像，實現對果實的精準定位識別。

4.根據權利要求1所述的基于采摘機器人視覺系統的目標采摘方法，其特征在于：所述步驟(4)具體是指：在訓練過程中加入馬賽克增強方法，改進Mask?R-CNN模型的局部容量，優化數據集的長尾分布，提高訓練精度，當訓練精度達到98.7％時，對應得到訓練精度最高的Mask?R-CNN模型。

5.根據權利要求1所述的基于采摘機器人視覺系統的目標采摘方法，其特征在于：所述步驟(5)具體是指：利用采摘機器人的攝像頭獲取待采摘的果實圖像，基于訓練精度最高的Mask?R-CNN模型處理待采摘的果實圖像，訓練精度最高的Mask?R-CNN模型輸出目標識別提取結果，采摘機器人根據目標識別提取結果進行采摘。