[發(fā)明專(zhuān)利]一種基于立體視覺(jué)的農(nóng)田多機(jī)器人跟隨耕地系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201410085261.8
• 申請(qǐng)日: 2014-03-06
• 公開(kāi)（公告）號(hào): CN104898656A
• 公開(kāi)（公告）日: 2015-09-09
• 發(fā)明（設(shè)計(jì)）人: 楊福增;張夢(mèng)蕓;周渝;王元杰;王濤;蒲應(yīng)俊;魏子凱
• 申請(qǐng)（專(zhuān)利權(quán)）人: 西北農(nóng)林科技大學(xué)
• 主分類(lèi)號(hào): G05D1/02
• 分類(lèi)號(hào): G05D1/02;G05B19/418
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種基于立體視覺(jué)的農(nóng)田多機(jī)器人跟隨耕地系統(tǒng)及方法，包括觸屏操縱桿式控制端、立體視覺(jué)識(shí)別定位系統(tǒng)、無(wú)線(xiàn)通信系統(tǒng)、一臺(tái)領(lǐng)航耕地機(jī)器人及若干跟隨耕地機(jī)器人，利用多對(duì)雙目攝像頭的多視角立體視覺(jué)技術(shù)為機(jī)器人進(jìn)行定位，使農(nóng)田多機(jī)器人協(xié)調(diào)作業(yè)，其中：

所述的觸屏操縱桿式控制端，用于耕地多機(jī)器人編隊(duì)的控制，包括觸屏顯示模塊、操縱桿模塊、中央處理器、無(wú)線(xiàn)通信模塊、內(nèi)置電池，所述的觸屏顯示模塊用于顯示機(jī)器人狀態(tài)信息、機(jī)器人攝像頭圖像及輸入人工控制信息、田地信息，所述的操縱桿模塊用于操控領(lǐng)航耕地機(jī)器人的開(kāi)停及轉(zhuǎn)向，所述的中央處理器用于處理機(jī)器人的狀態(tài)信息和控制信息并生成機(jī)器人運(yùn)行的控制信息，所述的無(wú)線(xiàn)通信模塊用于接收耕地機(jī)器人傳來(lái)的狀態(tài)信息和控制信息并發(fā)送由所述的中央處理器發(fā)出的控制信息給耕地機(jī)器人；

所述的立體視覺(jué)識(shí)別定位系統(tǒng)，包括領(lǐng)航耕地機(jī)器人視覺(jué)系統(tǒng)和跟隨耕地機(jī)器人視覺(jué)系統(tǒng)，所述的領(lǐng)航耕地機(jī)器人視覺(jué)系統(tǒng)包括四對(duì)雙目攝像頭、身份識(shí)別標(biāo)志柱和圖像處理模塊，對(duì)障礙物進(jìn)行識(shí)別，所述的跟隨耕地機(jī)器人視覺(jué)系統(tǒng)包括三對(duì)雙目攝像頭、身份識(shí)別標(biāo)志柱和圖像處理模塊，對(duì)被跟隨機(jī)器人(領(lǐng)航耕地機(jī)器人或者其他跟隨耕地機(jī)器人)的識(shí)別與跟蹤且對(duì)跟隨機(jī)器人相對(duì)于被跟隨機(jī)器人進(jìn)行定位；

所述的領(lǐng)航耕地機(jī)器人，由所述的觸屏操縱桿式控制端控制，搭載所述的領(lǐng)航耕地機(jī)器人視覺(jué)系統(tǒng)、機(jī)器人控制模塊和無(wú)線(xiàn)通信模塊，進(jìn)行耕地機(jī)器人編隊(duì)的領(lǐng)航并同時(shí)進(jìn)行耕地作業(yè)；所述的跟隨耕地機(jī)器人，搭載所述的跟隨耕地機(jī)器人視覺(jué)系統(tǒng)、機(jī)器人控制模塊和無(wú)線(xiàn)通信模塊，有三種自動(dòng)跟隨模式：左跟隨作業(yè)模式、右跟隨作業(yè)模式和跟隨行進(jìn)模式，所述的左跟隨作業(yè)模式是跟隨左側(cè)機(jī)器人形成編隊(duì)進(jìn)行耕地作業(yè)的跟隨模式，所述的右跟隨作業(yè)模式是跟隨右側(cè)機(jī)器人形成編隊(duì)進(jìn)行耕地作業(yè)的跟隨模式，所述的跟隨行進(jìn)模式是在道路行走時(shí)和田塊中轉(zhuǎn)彎時(shí)的跟隨模式，三種模式由所述的觸屏操縱桿式系統(tǒng)控制切換；所述的無(wú)線(xiàn)通信系統(tǒng)由各個(gè)耕地機(jī)器人搭載的無(wú)線(xiàn)通信模塊和所述的觸屏操縱桿式控制端的無(wú)線(xiàn)通信模塊組成，交換狀態(tài)信息和控制信息；

所述的狀態(tài)信息包括：領(lǐng)航機(jī)器人和跟隨機(jī)器人的相對(duì)位置、速度、車(chē)輪轉(zhuǎn)角，視覺(jué)系統(tǒng)所識(shí)別出障礙物位置，耕地機(jī)作業(yè)狀態(tài)信息；所述的控制信息包括：速度控制信息，轉(zhuǎn)角控制信息，前進(jìn)后退控制信息，緊急停機(jī)控制信息，耕地深度信息，耕地機(jī)升降控制信息。

2.權(quán)利要求1中所述的立體視覺(jué)識(shí)別定位系統(tǒng)，包括領(lǐng)航耕地機(jī)器人視覺(jué)系統(tǒng)四對(duì)雙目攝像頭的安裝方式、跟隨耕地機(jī)器人視覺(jué)系統(tǒng)三對(duì)雙目攝像頭的安裝方式、身份識(shí)別標(biāo)志柱的設(shè)置方法、識(shí)別被跟隨機(jī)器人的方法；

所述的身份識(shí)別標(biāo)志柱的設(shè)置方法包括：

(1)標(biāo)志柱從上到下分割出三個(gè)區(qū)域，第一個(gè)區(qū)域和第三個(gè)區(qū)域各占標(biāo)志柱的四分之一，第二個(gè)區(qū)域占標(biāo)志柱的二分之一，用于涂裝三種不同顏色；

(2)領(lǐng)航機(jī)器人的標(biāo)志柱涂裝顏色順序從上到下為黃、紅、藍(lán)；

(3)跟隨機(jī)器人的標(biāo)志柱涂裝顏色順序，第一跟隨機(jī)器人為黃、白、黃，第二跟隨機(jī)器人為黑、白、黑，第三跟隨機(jī)器人為黑、白、黃，超過(guò)三個(gè)以上的跟隨機(jī)器人，顏色設(shè)置方法是：第二區(qū)域?yàn)榘咨谝粎^(qū)域和第三區(qū)域由黑、黃、紅、藍(lán)任意一種或兩種顏色組合；

所述的識(shí)別被跟隨機(jī)器人的方法如下：

(1)確定被跟隨機(jī)器人的身份識(shí)別標(biāo)志柱的顏色組合和順序，利用控制端預(yù)先設(shè)置在跟隨機(jī)器人的控制模塊中；

(2)利用立體視覺(jué)識(shí)別定位系統(tǒng)通過(guò)身份識(shí)別標(biāo)志柱識(shí)別被跟隨機(jī)器人，方法如下：

a.通過(guò)YUV顏色空間分割出紅色或者白色(標(biāo)志柱第二區(qū)域的顏色)色塊，標(biāo)記形狀為長(zhǎng)方形的色塊(若干個(gè))并編號(hào)，記錄各色塊上邊緣和下邊緣位置；

b.從上邊緣往上取4×4圖像塊，從下邊緣往下取4×4圖像塊對(duì)各個(gè)標(biāo)記色塊進(jìn)行檢測(cè)，匹配被跟隨機(jī)器人的顏色組合和順序，最后確定被跟隨機(jī)器人的標(biāo)志柱；

c.通過(guò)被確定的標(biāo)志柱，計(jì)算跟隨機(jī)器人和被跟隨機(jī)器人的相對(duì)位置；

(3)跟隨機(jī)器人從無(wú)線(xiàn)通信系統(tǒng)中獲取被跟隨機(jī)器人的狀態(tài)信息；

(4)機(jī)器人控制模塊根據(jù)狀態(tài)信息與相對(duì)位置構(gòu)建卡爾曼濾波器，生成跟隨機(jī)器人的控制信息，機(jī)器人根據(jù)將要執(zhí)行的跟隨模式行駛到相對(duì)于被跟隨機(jī)器人的指定位置；

(5)左跟隨作業(yè)模式是將被跟隨機(jī)器人鎖定在左側(cè)視野中，即使用左側(cè)雙目攝像頭進(jìn)行目標(biāo)識(shí)別與跟蹤，不進(jìn)行其他攝像頭拍攝圖像的處理，提高圖像的實(shí)時(shí)處理速率；右跟隨作業(yè)模式使用右側(cè)雙目攝像頭；跟隨行進(jìn)模式使用前方雙目攝像頭；跟隨模式轉(zhuǎn)換時(shí)，左、右、前的攝像頭全啟動(dòng)，進(jìn)行步驟(2)到(4)。