[發明專利]基于深度卷積神經網絡的采摘用果樹結果枝剪切點定位方法

有效

• 申請號: 202011001005.8
• 申請日: 2020-09-22
• 公開（公告）號: CN112115885B
• 公開（公告）日: 2023-08-11
• 發明（設計）人: 柴秀娟;孫琦鑫;周國民;孫坦
• 申請（專利權）人: 中國農業科學院農業信息研究所
• 主分類號: G06V20/20
• 分類號: G06V20/20;G06V10/80;G06V10/774;G06V10/82;G06N3/0464;G06N3/08;G06N20/20;A01D46/30
• 代理公司: 威海科星專利事務所 37202
• 代理人: 孫小棟

1.一種基于深度卷積神經網絡的采摘用果樹結果枝剪切點定位方法，其特征是，包括以下步驟：

第一步，構建數據集合用于果實目標檢測、結果枝關鍵點檢測的模型訓練；

步驟(1)，利用圖像采集設備拍攝果樹圖像實現果實目標檢測數據采集；

步驟(2)，利用圖像采集設備拍攝果樹圖像實現結果枝關鍵點檢測數據采集；

步驟(3)，數據標注，按照目標檢測、關鍵點檢測兩類任務對采集數據進行標注；針對目標檢測，對圖像上果實所在矩形區域進行標注，每個果實的標注結果為矩形區域的左上角和右下角坐標{(fx₁,fy₁),(fx₂,fy₂)}；針對關鍵點檢測，對結果枝上的三個關鍵點進行標注，標注果柄關鍵點P₁，標注結果枝與短分枝的連接點P₂，標注結果枝上的剪切點P₃，每組結果枝的標注結果為P₁、P₂、P₃三個關鍵點的坐標{(px₁,py₁),(px₂,py₂),(px₃,py₃)}；如果不存在短分枝，P₂和P₁同坐標；

第二步，模型訓練；

步驟(1)，目標檢測模型訓練，將所述第一步獲得的果實目標檢測數據通過深度卷積神經網絡進行訓練，得到目標檢測模型；

步驟(2)，關鍵點檢測模型訓練，第一步生成結果枝檢測區域，利用果實矩形區域，訓練果柄關鍵點P₁檢測模型，基于檢測得到的P₁坐標，擴展生成結果枝檢測區域；第二步定位結果枝上的三個關鍵點，利用結果枝檢測區域，訓練結果枝關鍵點檢測模型，獲得P₁、P₂和P₃的位置；

第三步，采摘用結果枝剪切點識別過程；

步驟(1)，利用圖像采集設備拍攝果樹果實及其結果枝的圖像集合x_o；

步驟(2)，使用目標檢測模型，對圖像集合x_o進行目標檢測，目標檢測模型和訓練出的模型參數共同構成函數F_o，在圖像集合x_o中得到n個果實矩形區域坐標及對應置信得分：

步驟(3)，使用關鍵點檢測模型對圖像集合x_o進行采摘用結果枝剪切點的定位，首先，對圖像集合x_o和n個果實矩形區域及對應置信得分生成結果枝檢測區域，果柄關鍵點檢測模型和訓練出的模型參數共同構成函數F_a，在果實圖像集合x_o和n個果實矩形區域及對應置信得分上，得到n個果柄關鍵點坐標：

其次，將果實矩形區域向果實果柄方向擴展，得到n個結果枝檢測區域坐標：

；

然后，對圖像集合x_o和結果枝檢測區域，進行結果枝關鍵點檢測，結果枝關鍵點檢測模型和訓練出的模型參數共同構成函數F_b，在果實圖像集合x_o和n個結果枝檢測區域及對應置信得分上，得到n組結果枝的P₁、P₂和P₃關鍵點坐標，其中，結果枝上距離果實最遠的關鍵點P₃即為采摘用結果枝剪切點：