[發明專利]基于深度卷積神經網絡的采摘用果樹結果枝剪切點定位方法

有效

• 申請號: 202011001005.8
• 申請日: 2020-09-22
• 公開（公告）號: CN112115885B
• 公開（公告）日: 2023-08-11
• 發明（設計）人: 柴秀娟;孫琦鑫;周國民;孫坦
• 申請（專利權）人: 中國農業科學院農業信息研究所
• 主分類號: G06V20/20
• 分類號: G06V20/20;G06V10/80;G06V10/774;G06V10/82;G06N3/0464;G06N3/08;G06N20/20;A01D46/30
• 代理公司: 威海科星專利事務所 37202
• 代理人: 孫小棟

本發明涉及一種基于深度卷積神經網絡的采摘用果樹結果枝剪切點定位方法，其解決了現有剪切式自動采摘方法直接在果柄處進行操作對果實損傷大，影響結果枝第二年的產果量的技術問題，其首先構建果實目標檢測數據集和結果枝關鍵點檢測數據集并進行標注，其次進行目標檢測模型訓練和關鍵點檢測模型訓練，然后識別采摘用結果枝剪切點。本發明可廣泛應用于剪切式自動采摘系統。

技術領域

本發明涉及果實自動采摘技術領域，具體而言，涉及一種基于深度卷積神經網絡的采摘用果樹結果枝剪切點定位方法。

背景技術

果實采摘是果園生產管理的重要環節，越來越多的技術人員開始進行采摘自動化探索和研究，不僅有利于降低人工勞動強度，提高生產效率和經濟效益，而且對于推動我國農業現代化發展具有重要意義。

參考公布號為CN104584779A的發明申請以及公布號為CN102577755A的發明申請，現有的果樹自動采摘機器人系統主要依靠視覺系統對果實進行識別與定位，然后控制機械臂進行采摘。采摘常用的方法有拍打振動、抓取、氣吸、扭摘、剪切等方式，其中剪切式自動采摘直接在果柄處進行操作，存在對果實損傷大的問題，也會影響結果枝第二年的產果量。

不使用自動采摘機器人系統的人工采摘過程中，多采用“一果兩剪”的方法，第一剪連同果柄剪下，常連帶兩到三片葉子，順帶對果實結果枝進行修剪(避免春梢叢發，有利于提高第二年的產果量)；第二剪在不傷果蒂的情況下，平果蒂剪果柄。因此，為了解決剪切式自動采摘過程中的果實損傷大的問題，并在果實采摘過程中輔助結果枝的修剪，仿照人工采摘過程，開發一種通過對結果枝進行剪切實現果實采摘的技術具有現實意義。

發明內容

本發明就是為了解決現有剪切式自動采摘方法直接在果柄處進行操作對果實損傷大，影響結果枝第二年的產果量的技術問題，提供一種避免損傷果實，能夠提高結果枝第二年產果量的基于深度卷積神經網絡的采摘用果樹結果枝剪切點定位方法。

本發明提供一種基于深度卷積神經網絡的采摘用果樹結果枝剪切點定位方法，包括以下步驟：

第一步，構建數據集合用于果實目標檢測、結果枝關鍵點檢測的模型訓練；

步驟(1)，利用圖像采集設備拍攝果樹圖像實現果實目標檢測數據采集；

步驟(2)，利用圖像采集設備拍攝果樹圖像實現結果枝關鍵點檢測數據采集；

步驟(3)，數據標注，按照目標檢測、關鍵點檢測兩類任務對采集數據進行標注；針對目標檢測，對圖像上果實所在矩形區域進行標注，每個果實的標注結果為矩形區域的左上角和右下角坐標{(fx₁,fy₁),(fx₂,fy₂)}；針對關鍵點檢測，對結果枝上的三個關鍵點進行標注，標注果柄關鍵點P₁，標注結果枝與短分枝的連接點P₂，標注結果枝上的剪切點P₃，每組結果枝的標注結果為P₁、P₂、P₃三個關鍵點的坐標{(px₁,py₁),(px₂,py₂),(px₃,py₃)}；如果不存在短分枝，P₂和P₁同坐標；

第二步，模型訓練；

步驟(1)，目標檢測模型訓練，將所述第一步獲得的果實目標檢測數據通過深度卷積神經網絡進行訓練，得到目標檢測模型；