[發明專利]果實位姿計算方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202010220613.1
• 申請日: 2020-03-25
• 公開（公告）號: CN111445523A
• 公開（公告）日: 2020-07-24
• 發明（設計）人: 柴秀娟;夏雪;張文蓉;周國民
• 申請（專利權）人: 中國農業科學院農業信息研究所
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06N3/04
• 代理公司: 泰和泰律師事務所 51219
• 代理人: 范相玉

本發明公開了一種果實位姿計算方法、裝置、計算機設備及存儲介質，涉及位姿計算技術領域，用于提高果實位姿計算的準確度。本發明的主要技術方案為：獲取待測果實的RGB?D圖像數據；將所述RGB?D圖像數據輸入到目標果實模型得到與所述待檢測果實對應的果柄點和/或果萼點的三維坐標；所述目標果實模型是根據不同角度的樣本果實RGB?D圖像，以及每個角度標注的果柄點和/或果萼點的三維坐標訓練得到的；計算所述待檢測果實對應的果柄點和/或果萼點的三維坐標，與標準果實位姿數據之間的距離最小時的空間變換參數；根據所述待檢測果實對應的果柄點和/或果萼點的三維坐標，以及所述空間變換參數確定所述待測果實的位姿數據。

技術領域

本發明涉及位姿計算技術領域，尤其涉及一種果實位姿計算方法、裝置、計算機設備及存儲介質。

背景技術

水果采摘作業是水果生產過程中的一個重要環節,作業的質量直接影響水果后續的貯存、加工和銷售,因此研究水果采摘機器人技術非常必要。在自動采摘過程中，由于果實生長的隨機性，使得樹上果實的傾斜角度各不相同。農業自動收獲過程中，待收獲物體的三維位姿估計能為物體抓取和切割提供充分的信息。只有機械手的姿態與果實姿態一致時，采摘任務才能順利完成，否則，機械手的采摘動作會對蘋果和枝干造成較大損傷。因此，果實的空間位姿信息是實現果實精確快速采摘的基礎。

目前已有的方法是利用矩方法求目標區域的質心和慣性主軸，用慣性主軸的角度標識蘋果的生長方向，或是利用重心點偏移計算果實在機器人坐標系下的姿態向量值，并通過粒子濾波融合來得到果實姿態信息的最優估計。

但果實圖像慣性主軸計算值不穩定，并且方法的假設前提難以很好滿足,因此上述的方法計算誤差比較大，且現有方法都是在二維平面圖像的基礎上利用傳統圖像處理的方法來估計果實位姿，缺少果實三維空間信息，因此在果實位姿估計的精度上會受到一定影響，尤其在遮擋情況下，很難準確估測果實的精確位姿。

發明內容

本發明提供一種果實位姿計算方法、裝置、計算機設備及存儲介質，用于提高果實位姿計算的準確度。

本發明實施例提供一種果實位姿計算方法，所述方法包括：

獲取待測果實的RGB-D圖像數據；

將所述RGB-D圖像數據輸入到目標果實模型得到與所述待檢測果實對應的果柄點和/或果萼點的三維坐標；所述目標果實模型是根據不同角度的樣本果實RGB-D圖像，以及每個角度標注的果柄點和/或果萼點的三維坐標訓練得到的；

計算所述待檢測果實對應的果柄點和/或果萼點的三維坐標，與標準果實位姿數據之間的距離最小時的空間變換參數；

根據所述待檢測果實對應的果柄點和/或果萼點的三維坐標，以及所述空間變換參數確定所述待測果實的位姿數據。

本發明實施例提供一種果實位姿計算裝置，所述裝置包括：

獲取模塊，用于獲取待測果實的RGB-D圖像數據；

所述獲取模塊，還用于將所述RGB-D圖像數據輸入到目標果實模型得到與所述待檢測果實對應的果柄點和/或果萼點的三維坐標；所述目標果實模型是根據不同角度的樣本果實RGB-D圖像，以及每個角度標注的果柄點和/或果萼點的三維坐標訓練得到的；

計算模塊，用于計算所述待檢測果實對應的果柄點和/或果萼點的三維坐標，與標準果實位姿數據之間的距離最小時的空間變換參數；

確定模塊，用于根據所述待檢測果實對應的果柄點和/或果萼點的三維坐標，以及所述空間變換參數確定所述待測果實的位姿數據。

一種計算機設備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現上述果實位姿計算方法。