[發明專利]一種基于立體視覺的農田多機器人跟隨耕地系統及方法

在審

• 申請號: 201410085261.8
• 申請日: 2014-03-06
• 公開（公告）號: CN104898656A
• 公開（公告）日: 2015-09-09
• 發明（設計）人: 楊福增;張夢蕓;周渝;王元杰;王濤;蒲應俊;魏子凱
• 申請（專利權）人: 西北農林科技大學
• 主分類號: G05D1/02
• 分類號: G05D1/02;G05B19/418
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于立體視覺的農田多機器人跟隨耕地系統及方法，包括觸屏操縱桿式控制端、立體視覺識別定位系統、無線通信系統、一臺領航耕地機器人及若干跟隨耕地機器人，利用多對雙目攝像頭的多視角立體視覺技術為機器人進行定位，使農田多機器人協調作業，其中：

所述的觸屏操縱桿式控制端，用于耕地多機器人編隊的控制，包括觸屏顯示模塊、操縱桿模塊、中央處理器、無線通信模塊、內置電池，所述的觸屏顯示模塊用于顯示機器人狀態信息、機器人攝像頭圖像及輸入人工控制信息、田地信息，所述的操縱桿模塊用于操控領航耕地機器人的開停及轉向，所述的中央處理器用于處理機器人的狀態信息和控制信息并生成機器人運行的控制信息，所述的無線通信模塊用于接收耕地機器人傳來的狀態信息和控制信息并發送由所述的中央處理器發出的控制信息給耕地機器人；

所述的立體視覺識別定位系統，包括領航耕地機器人視覺系統和跟隨耕地機器人視覺系統，所述的領航耕地機器人視覺系統包括四對雙目攝像頭、身份識別標志柱和圖像處理模塊，對障礙物進行識別，所述的跟隨耕地機器人視覺系統包括三對雙目攝像頭、身份識別標志柱和圖像處理模塊，對被跟隨機器人(領航耕地機器人或者其他跟隨耕地機器人)的識別與跟蹤且對跟隨機器人相對于被跟隨機器人進行定位；

所述的領航耕地機器人，由所述的觸屏操縱桿式控制端控制，搭載所述的領航耕地機器人視覺系統、機器人控制模塊和無線通信模塊，進行耕地機器人編隊的領航并同時進行耕地作業；所述的跟隨耕地機器人，搭載所述的跟隨耕地機器人視覺系統、機器人控制模塊和無線通信模塊，有三種自動跟隨模式：左跟隨作業模式、右跟隨作業模式和跟隨行進模式，所述的左跟隨作業模式是跟隨左側機器人形成編隊進行耕地作業的跟隨模式，所述的右跟隨作業模式是跟隨右側機器人形成編隊進行耕地作業的跟隨模式，所述的跟隨行進模式是在道路行走時和田塊中轉彎時的跟隨模式，三種模式由所述的觸屏操縱桿式系統控制切換；所述的無線通信系統由各個耕地機器人搭載的無線通信模塊和所述的觸屏操縱桿式控制端的無線通信模塊組成，交換狀態信息和控制信息；

所述的狀態信息包括：領航機器人和跟隨機器人的相對位置、速度、車輪轉角，視覺系統所識別出障礙物位置，耕地機作業狀態信息；所述的控制信息包括：速度控制信息，轉角控制信息，前進后退控制信息，緊急停機控制信息，耕地深度信息，耕地機升降控制信息。

2.權利要求1中所述的立體視覺識別定位系統，包括領航耕地機器人視覺系統四對雙目攝像頭的安裝方式、跟隨耕地機器人視覺系統三對雙目攝像頭的安裝方式、身份識別標志柱的設置方法、識別被跟隨機器人的方法；

所述的身份識別標志柱的設置方法包括：

(1)標志柱從上到下分割出三個區域，第一個區域和第三個區域各占標志柱的四分之一，第二個區域占標志柱的二分之一，用于涂裝三種不同顏色；

(2)領航機器人的標志柱涂裝顏色順序從上到下為黃、紅、藍；

(3)跟隨機器人的標志柱涂裝顏色順序，第一跟隨機器人為黃、白、黃，第二跟隨機器人為黑、白、黑，第三跟隨機器人為黑、白、黃，超過三個以上的跟隨機器人，顏色設置方法是：第二區域為白色，第一區域和第三區域由黑、黃、紅、藍任意一種或兩種顏色組合；

所述的識別被跟隨機器人的方法如下：

(1)確定被跟隨機器人的身份識別標志柱的顏色組合和順序，利用控制端預先設置在跟隨機器人的控制模塊中；

(2)利用立體視覺識別定位系統通過身份識別標志柱識別被跟隨機器人，方法如下：

a.通過YUV顏色空間分割出紅色或者白色(標志柱第二區域的顏色)色塊，標記形狀為長方形的色塊(若干個)并編號，記錄各色塊上邊緣和下邊緣位置；

b.從上邊緣往上取4×4圖像塊，從下邊緣往下取4×4圖像塊對各個標記色塊進行檢測，匹配被跟隨機器人的顏色組合和順序，最后確定被跟隨機器人的標志柱；

c.通過被確定的標志柱，計算跟隨機器人和被跟隨機器人的相對位置；

(3)跟隨機器人從無線通信系統中獲取被跟隨機器人的狀態信息；

(4)機器人控制模塊根據狀態信息與相對位置構建卡爾曼濾波器，生成跟隨機器人的控制信息，機器人根據將要執行的跟隨模式行駛到相對于被跟隨機器人的指定位置；

(5)左跟隨作業模式是將被跟隨機器人鎖定在左側視野中，即使用左側雙目攝像頭進行目標識別與跟蹤，不進行其他攝像頭拍攝圖像的處理，提高圖像的實時處理速率；右跟隨作業模式使用右側雙目攝像頭；跟隨行進模式使用前方雙目攝像頭；跟隨模式轉換時，左、右、前的攝像頭全啟動，進行步驟(2)到(4)。