[發(fā)明專利]一種基于ROS與圖像處理的尋苗行走系統(tǒng)及其方法

有效

• 申請?zhí)枺?/td>: 202110712896.6
• 申請日: 2021-06-25
• 公開（公告）號: CN113381667B
• 公開（公告）日: 2022-10-04
• 發(fā)明（設(shè)計）人: 王強;鄭昊
• 申請（專利權(quán)）人: 哈爾濱工業(yè)大學(xué)
• 主分類號: H02P23/00
• 分類號: H02P23/00;H02P23/14;H02P23/16;G06T5/30;G06T7/70
• 代理公司: 哈爾濱市陽光惠遠知識產(chǎn)權(quán)代理有限公司 23211
• 代理人: 孫莉莉

1.一種基于ROS與圖像處理的尋苗行走系統(tǒng)的尋苗行走方法，其特征在于：所述系統(tǒng)包括攝像頭、上位機模塊、電機控制系統(tǒng)和ROS系統(tǒng)；所述攝像頭來獲取圖像信息，所述上位機模塊獲取并處理圖像信息，所述電機控制系統(tǒng)與上位機模塊通過ROS系統(tǒng)進行通訊，獲取控制信息，輸出控制信號控制電機旋轉(zhuǎn)，控制車體行走；

所述方法包括以下步驟：

步驟一、攝像頭掛載于小車上，實時獲取前方地面信息，將其發(fā)送給上位機模塊；

步驟二、上位機模塊接收圖像信息，根據(jù)圖像中的顏色信息來區(qū)分地面與作物，提取其中的綠色部分，將作物從圖像中提取出來，獲取作物的坐標信息；

步驟三、上位機模塊處理作物信息，通過提取出的作物的坐標，利用最小二乘法找到作物所在直線，將直線在圖像中標記出來；

步驟四、上位機模塊計算獲得直線與車體當前行進方向的偏角度，同時獲得直線與圖像中心點之間的偏移量，通過偏角度與偏移量計算車體需要調(diào)整正向的角速度w＝k*0.005-dist*0.08；其中k表示偏角度，dist表示偏移量；

步驟五、上位機模塊創(chuàng)建話題，同時作為ROS系統(tǒng)中的一個節(jié)點，將角速度w數(shù)據(jù)發(fā)布到ROS系統(tǒng)中的話題內(nèi)，等待被電機控制系統(tǒng)的控制信息接收模塊接收；

步驟六、電機控制系統(tǒng)的控制信息接收模塊作為ROS系統(tǒng)中另一個節(jié)點，訂閱話題，從話題中接收上位機模塊發(fā)送的角速度w；

步驟七、根據(jù)角速度w，通過公式：左輪速度v_left＝v-w*0.3，右輪速度v_right＝v+w*0.3，計算出車體調(diào)整需要的左右輪的速度，其中v是初始設(shè)定的前進線速度；

步驟八、根據(jù)計算出的速度，改變電機控制模塊輸出PWM信號的占空比，計算左輪角速度w_left＝50*v_left/v，右輪角速度w_right＝50*v_right/v，以此來控制電機旋轉(zhuǎn)的速度，利用差速調(diào)控原理，控制車體前進與轉(zhuǎn)向；

步驟九、利用編碼器模塊測量電機實際旋轉(zhuǎn)速度，并且將速度信息發(fā)送回給電機控制模塊；

步驟十、電機控制模塊接收電機實際速度信息，利用PID調(diào)控，實時調(diào)整輸出的PWM信號，其中PID的參數(shù)設(shè)置為：P＝50，I＝100，D＝0；

步驟十一、持續(xù)判斷是否有新圖像傳入，若有新圖像傳入，重復(fù)步驟二至步驟十；否則等待一定時間后，結(jié)束。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于：在步驟二至步驟五中執(zhí)行以下操作：

步驟1、提取圖像的下半部分，只考慮離車體近的作物信息，避免受到遠作物的位置信息影響；

步驟2、使用函數(shù)cv2.cvColor(),將新圖像由RGB空間轉(zhuǎn)換至HSV空間；

步驟3、設(shè)置綠色顏色提取范圍，低邊界low＝(35,60,60)，高邊界high＝(80,255,255)，使該范圍內(nèi)顏色變成白色，其余變成黑色，得到二值化圖像mask；從HSV空間中提取綠色部分，找到作物，獲取作物信息；

步驟4、對mask圖像進行形態(tài)學(xué)操作，利用cv2.morphologyEx()函數(shù)，先進行開運算，將白色部分先腐蝕再膨脹，再進行閉運算，將白色部分先膨脹再腐蝕，對作物信息進行處理，使其更加清晰準確；

步驟5、獲取出白色部分中的所有坐標，通過這些坐標信息，利用最小二乘法，找到作物所在直線y＝kx+b，其中k＝(xy_sum-x_sum*y_sum/N)/(x_s_sum-x_sum*x_sum/N)，b＝y(tǒng)_sum/N-k*x_sum/N，其中xy_sum是橫縱坐標乘積的和，x_sum是橫坐標的和，y_sum是縱坐標的和，x_s_sum是橫坐標的平方和，N表示點的數(shù)目；

步驟6、利用偏移量公式計算出直線與圖像中心的偏移量；

步驟7、利用ROS系統(tǒng)發(fā)布話題，將偏角度k與偏移量dist發(fā)布到話題中，等待被電機控制模塊訂閱提取。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于：所述上位機模塊使用的是樹莓派4B,通過程序編寫對應(yīng)的上位機控制模塊，該上位機控制模塊包括：

用于接收攝像頭獲取的實時圖像信息的圖像接收模塊；

用于處理圖像信息，獲取作物位置信息，進而獲取作物所在路徑直線信息，計算得到路徑直線偏角度與偏移量的圖像處理模塊；

用于向電機控制系統(tǒng)發(fā)送偏角度與偏移量的控制信息發(fā)送模塊；

用于對電機控制系統(tǒng)發(fā)送的應(yīng)答信息進行接收的應(yīng)答信息接收模塊。