[發明專利]一種串型水果分布式視覺主動感知方法及其應用

有效

• 申請號: 202010466512.2
• 申請日: 2020-05-28
• 公開（公告）號: CN111602517B
• 公開（公告）日: 2021-09-24
• 發明（設計）人: 熊俊濤;李中行;陳淑綿;卜榕彬;鐘灼;劉柏林
• 申請（專利權）人: 華南農業大學
• 主分類號: A01D46/30
• 分類號: A01D46/30;G06T7/73;G06T7/80;G06K9/00;G06F30/27;G06Q10/04;G06N3/12;G06N3/04;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 陳燕嫻

本發明公開了一種串型水果分布式視覺主動感知方法及其應用。本發明采用大視場相機獲取果樹的大視場圖像，以進行大視場目標感知，得到各個串型水果目標的采摘優先級，同時確定二次感知的各采摘預備點；然后驅動機械手到達一個采摘預備點后，小視場相機隨著機械手運動，近距離感知和觀察串型水果，獲取動態的小視場圖像，實現小視場目標的主動感知與采摘智能決策。本發明可以減少采摘作業信息決策不足和機械手作業活動冗余的技術問題，有效提高串型水果的采摘效率。

技術領域

本發明涉及水果智能采摘領域，特別涉及一種串型水果分布式視覺主動感知方法及其應用。

背景技術

我國是龍眼、葡萄、荔枝等串型水果的主要生產國，種植和生產總量位居世界前列，具有巨大的經濟潛力。但目前這些串型水果的收獲基本依靠人工采摘，勞動強度大，采摘費用高。人工采摘的過程包括肉眼判斷水果成熟度和品質，然后結合工具進行手工采摘。有研究表明，在整個水果種植生產過程中，采摘水果所耗費的勞動力占水果種植勞動力總量的35％～45％。隨著果園發展的規范化、規模化，人工采摘成本會變得更高。近年來，隨著智能機器人的發展，采摘機器人的研究和應用越來越多，給果園管理和水果采摘帶來一定的效益。水果采摘機器人在采摘水果之前，需要先將機器人人工或自動移動到果樹前，然后通過視覺傳感器將水果從復雜的果園環境中識別出來，再根據水果空間信息進行水果的定位、選擇和采摘。目前水果采摘機器人的研究重點主要是單個水果的識別采摘，比如蘋果、獼猴桃和草莓等，而對串型水果的識別方法較少，因此迫切需要開展串型水果采摘機器人的相關研究。

目前，水果采摘機器人的視覺系統主要是單一集中式系統，在同一時刻，視覺傳感器僅獲取采摘對象及其狹小空間范圍的視覺信息，這些視覺信息可以輔助機器人近距離摘落水果，但不能幫助機器人獲取果樹大范圍的水果分布信息，難以對水果采摘順序進行規劃，因此整體采摘效率較低。

水果采摘機器人獲取水果采摘點信息的傳感器主要包括二維的單目視覺、多目視覺、三維kinect、紅外設備和激光設備等；水果具體采摘點的識別是單次規劃的，即水果采摘機器人移動到目標水果前，根據此時的視覺信息確定采摘點和采摘任務。如果水果和采摘點干擾較少，則采摘成功；如果干擾較大，則可能導致采摘任務失敗，即受復雜的野外采摘環境、視覺系統限制、角度、遮擋和光照條件變化等因素影響，采摘機器人的小視場視覺系統容易丟失采摘目標，從而導致采摘任務失敗。因此，如何重新確定最佳的采摘角度、位置和采摘姿態，成為水果智能采摘領域亟需解決的重要問題。

發明內容

本發明的目的在于克服現有技術中存在的缺點，提供一種串型水果分布式視覺主動感知方法，可以實現采摘場景下大視場目標感知與小視場采摘決策的聯合協作，有效解決采摘作業信息決策不足和機械手作業活動冗余的問題，提高串型水果識別率，有效降低采摘遮擋或重疊水果的不確定性，提高串型水果的采摘效率。

本發明的另一目的在于提供一種串型水果采摘機器人，采用上述串型水果分布式視覺主動感知方法進行串型水果采摘。

本發明的目的通過下述技術方案實現：

一種串型水果分布式視覺主動感知方法，包括下述步驟：

(1)確定多類視覺傳感器信息的耦合關系，布置分布式視覺方案；

(2)采用大視場相機獲取果樹的大視場圖像，以進行大視場目標感知：即利用實例分割網絡(Mask R-CNN)對大視場圖像中的串型水果目標進行檢測和識別，獲得串型水果的空間信息，利用視覺顯著性算法評估大視場圖像中的串型水果目標的品質狀態，然后根據串型水果目標的空間信息和品質狀態進行多目標采摘順序規劃，得到各個串型水果目標的采摘優先級，同時確定二次感知的各采摘預備點；