[發明專利]基于全景立體視覺的采摘對象的識別、分類和空間定位裝置及方法

有效

• 申請號: 201210367554.6
• 申請日: 2012-09-28
• 公開（公告）號: CN102986372A
• 公開（公告）日: 2013-03-27
• 發明（設計）人: 湯一平;俞立
• 申請（專利權）人: 浙江工業大學
• 主分類號: A01D46/00
• 分類號: A01D46/00;G01C11/00;G01C11/36
• 代理公司: 杭州天正專利事務所有限公司 33201
• 代理人: 王兵;王利強

技術領域

本發明屬于全景立體視覺技術、采摘機器人技術、數字圖像處理技術和模式識別技術在顆粒狀農作物自動化采摘方面的應用，尤其適用于采摘機器人的自動采摘作業。

背景技術

農作物采摘作業是農作物生產鏈中最耗時、最費力的一個環節。同時,采摘作業質量的好壞還直接影響到產品的后續加工和儲存。如何以低成本獲得高品質的產品是農作物生產環節中必須重視和考慮的問題。由于采摘作業的復雜性,目前我國采摘作業的規模化、自動化和智能化程度仍然很低，基本上農作物采摘作業都是手工進行，就棉花采摘這一項來說每年約需要人工采摘成本8個億。隨著人口的老齡化和農業勞動力的減少,農業生產成本也相應提高,這樣會大大降低產品的市場競爭力。因此采摘機器人是未來智能農業機械的發展方向。

采摘機器人工作在高度非結構化的環境下，采摘對象是有生命的生物體，具有以下的特點：1）采摘對象嬌嫩、易脆,形狀復雜且個體之間的差異性大；2）采摘對象大多數被樹葉、樹枝等掩蓋，增大了機器人視覺定位難度，降低采摘成功率；3）采摘對象分布是隨機的，分布在采摘機器人的周圍，因此需要全方位的檢測方法；4）希望實現智能化自動分級技術邊采摘邊分級，即在采摘過程中進行分類，以提高采摘物的品質和減少后續的分揀工序。

采摘對象的識別與定位，是實現采摘自動化的第一步。考慮到采摘對象的生長環境、空間位置和分布狀態等要素，采用三維視覺進行采摘對象的檢測是一種非常有前途的解決方案。所謂三維視覺信息包括從攝像機到物體之間的距離、物體的大小和形狀、各物體之間的關系等。對于采摘機器人視覺系統而言，在自然光條件下，不僅要探測到目標的存在，還要計算出采摘對象的空間坐標。

目前，在園林生產和田間作業中，對于橙、橘、番茄、土豆、蘑菇、黃瓜、蘋果、西瓜、葡萄等果蔬的基于機器視覺的采摘技術，國內外已有一些相關報道，但尚未檢索到棉花采摘機器人的相關報道。

顏色、大小和形狀是反映采摘對象的重要視覺特征，是基于機器視覺的采摘對象的識別、分類的重要依據。每一種采摘對象都有其特有的顏色、大小和形狀特征，這些視覺信息是識別采摘對象的重要屬性特征；同時每一種采摘對象在其不同的生長期和不同的品質上，其顏色、大小和形狀均有較大的差別，這些差別是基于機器視覺的分類和分級中各種判定指標和閾值取值的根據。

在采摘對象顏色測量中，應選用一定的顏色模型來對采摘對象表面的顏色特征進行研究。通過該研究建立多種各具特色的顏色模型，在機器視覺研究中，常用的RGB和HIS顏色模型，HIS顏色模型的描述更接近人的視覺對顏色的感知方式，它包含色相、飽和度和亮度三要素。根據對顏色的研究結果，結合有關評級標準，就可選定區別不同色度等級的色相閾值，計算出此值下的累計頻度值，就可完成顏色分級。

利用被采摘對象的顏色色差信息進行圖像識別，對于有些被采摘對象，如果蔬的識別，采用HIS彩色模型用于顏色評價和圖像處理是非常有效的。對于棉桃的識別，主要是基于棉桃的R、G、B均值幾乎相等，而棉葉、棉枝的R、G、B均值相差較大。棉桃顏色差值絕大多數分布在45°線上，只有少量偏離45°線，且偏離程度較小；而棉葉和棉枝的顏色差值偏離45°線，且偏離程度較大，因此可以利用此特征差異進行圖像識別。利用此色差模型可以有效地將棉桃從背景圖像中分離出來。

機器視覺的作用是從三維環境圖像中獲得所需的信息并構造出觀察對象的明確而有意義的描述。視覺包括三個過程：圖像增強、特征提取和圖像理解。由視覺傳感器獲取數字圖像，經圖像增強后提取顏色、形狀和紋理特征參數對棉花進行分類、識別和描述。

目前獲取采摘對象的三維坐標的定位方法主要有下面4種類型：1）多目立體視覺：融合多個攝像機觀察到的目標特征，重構這些特征的三維原像，并計算出目標的空間坐標；2）時間差法：利用一臺攝像機的多幅連續圖像序列實現“從運動得到結構”，由圖像匹配估計匹配點的三維坐標；3）結構光法：選擇激光、微波或超聲波等光源，采用光柵法、移動投光法獲取距離圖像和反射圖像，經聯合分析測出物體的形狀和空間分布；4）傳感器融合：由視覺傳感器獲取原始平面圖像，計算其形心坐標，再利用測距傳感器測量目標的深度信息。就上述4種定位方式來說，立體視覺具有投資小、能與采摘機器人的自動導航共用一套立體視覺系統、能與前期采摘對象的識別和分類等處理共用一種視頻源，因此是一種首選的解決方案。