[發明專利]一種基于機器視覺的巷道巡檢無人機系統及導航方法

有效

• 申請號: 201811532340.3
• 申請日: 2018-12-14
• 公開（公告）號: CN109753081B
• 公開（公告）日: 2020-08-21
• 發明（設計）人: 程健;郭雪亮;郭一楠;安鴻波;陳亮;李會軍
• 申請（專利權）人: 煤炭科學研究總院;中國礦業大學
• 主分類號: G05D1/10
• 分類號: G05D1/10;G01S15/93;G01C11/04;G01C11/02
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 李悅聲

1.一種基于機器視覺的巷道巡檢無人機導航方法，其特征是，包括如下步驟：

步驟1)建立巷道巡檢無人機系統；所述巷道巡檢無人機系統包括無人機載體、超聲波距離傳感器、控制板、單目相機、機載處理器、飛行控制器和照明燈；

所述超聲波距離傳感器分別安裝在巡檢無人機的上、下、左、右、前、后六個方向，所有的超聲波距離傳感器通過RS485總線和控制板相連，獲取與巷道邊界的距離信息；

所述控制板通過USART收發器與無人機飛行控制器相連；

所述單目相機通過USB接口連接無人機機載處理器，實時獲取和處理圖像，并計算無人機偏航角；

所述機載處理器通過USART收發器與無人機飛行控制器相連，實時更新無人機的航向信息，調整其位姿；

所述照明燈安裝在無人機載體的正前方，實現單目相機的光照補償；

步驟2)結合步驟1)所構建的巷道巡檢無人機系統，建立單目相機的小孔成像模型，并對單目相機參數進行標定；

步驟3)根據單目相機獲得的巷道環境圖像，提取巷道中的管道輪廓信息，判定巡檢無人機的偏航角，具體過程為：

31)將單目相機采集的巷道RGB圖像，沿豎直方向分割成張小圖，W為單目相機采集圖像的圖像寬度；記RGB圖像中某一像素的值為r、g、b，轉換到HSV顏色空間之后的像素值為h,s,v；對r、g、b歸一化為r′＝r/255,g′＝g/255,b′＝b/255，中間變量C_max＝max(r′,g′,b′)、C_min＝min(r′,g′,b′)、Δ＝C_max-C_min，

v＝C_max；遍歷RGB圖像上所有的像素點，采用上述公式能夠轉換到HSV顏色空間；

32)在H、S、V三個顏色通道上選擇合適的閾值對圖像進行閾值化處理，得到相應的二值圖，該閾值滿足能夠使符合管道顏色特征的像素值為255，其余像素值為0；

33)采用Canny算法，檢測二值圖中的邊緣輪廓，得到滿足顏色特征的輪廓；

34)設輪廓面積與其最小包圍矩形面積之比的閾值為0.8；根據該閾值，對所有的輪廓進行判定，剔除非管道輪廓，得到滿足顏色特征的管道輪廓，且數量記為N₂，若N₂小于2，則返回步驟31)；

35)記m∈[0,N₂)；設矩形ABCD為第m個管道輪廓最小外接矩形，A、B、C、D為矩形頂點，E為矩形中心點，對角線所在直線為l_1m:y＝k_1mx+b_1m和l_2m:y＝k_2mx+b_2m，k_1m和k_2m為對角線斜率，b_1m和b_2m為對角線在y軸上的截距；點集UP_m、DOWN_m為第m個管道輪廓在△ADE、△BCE所包圍區域內的像素點集合，△ADE為由A、D、E圍成的三角形，△BCE為由B、C、E圍成的三角形；記p(x_mj,y_mj)為第m個管道輪廓上第j個像素點，S_m為第m個管道輪廓上的像素點規模，則遍歷第m個管道輪廓上的所有像素點，

有(0≤jS_m)，得到像素點集UP_m和DOWN_m；

36)采用最小二乘法，擬合得到像素點集UP_m和DOWN_m分別所對應的直線l_upm:y＝k_umx+b_um和l_downm:y＝k_dmx+b_dm，其中，k_um和k_dm分別表示直線l_upm和l_downm的斜率，b_um和b_dm分別表示直線l_upm和l_downm在y軸上的截距；以像素點集UP_m所對應的直線l_upm為例，記p_um(x_mi,y_mi)，0≤iS_pm為UP_m像素點集中的第i個像素點，S_pm為相應像素點集規模，其在直線l_upm上的誤差函數，記為E_mi＝y_mi-(k_umx_mi+b_um)，根據最小化代價函數計算得到直線l_upm的斜率k_um和截距值b_um；

37)記第m個管道輪廓所對應直線l_um和l_dm之間的斜率差絕對值為e_m＝|k_um-k_dm|，根據e_m的大小對N₂個管道輪廓依次做升序排列，記其序值為k＝sort(e_m)，且有k|_miniem＝0；選取k＝1的管道輪廓，假設其對應的斜率差絕對值為e_M，記閾值ε為直線l_upm和l_downm的平行度，若滿足e_Mε，則返回步驟31)；

38)對k＝0和k＝1的兩個管道輪廓，分別計算其中心點C₀(x_c0,y_c0)和C₁(x_c1,y_c1)，和中心點到相機光心的距離L₀、L₁，以及C₀和C₁在相機坐標系下的真實坐標P₀和P₁，具體過程為：

381)計算中心點C₀(x_c0,y_c0)和C₁(x_c1,y_c1)，設k＝0的管道輪廓，其中心點坐標滿足假設一條穿過中心點C₀的線段，與直線l_upm和l_downm相交于像素點M(x_M0,y_M0)和N(x_N0,y_N0)，且滿足以下約束：k_um*x_M0+b_um＝y_M0，k_dm*x_N0+b_dm＝y_N0，(y_M0-y_c0)/(x_M0-x_c0)＝(y_N0-y_c0)/(x_N0-x_c0)，選取具有最小線段長度的點，記為M(x_M0,y_M0)和N(x_N0,y_N0)；同樣重復上述過程，能夠選取k＝1的管道輪廓相對應的像素點M(x_M1,y_M1)和N(x_N1,y_N1)；

382)對圖像上任意一像素點p(x_i,y_i)，記其在相機歸一化平面上的坐標為(x_n,y_n,1)，有x_n＝(x_i-c_x)/f_x，y_n＝(y_i-c_y)/f_y；對其進行徑向和切向畸變矯正之后，得到矯正后的坐標為(x_cor,y_cor,1)，有其中，將矯正后的像素點重投影到圖像平面上，得到畸變矯正之后的像素坐標為(x_rep,y_rep)，有x_rep＝f_xx_cor+c_x，x_rep＝f_yx_cor+c_y；

383)將M(x_M0,y_M0)和N(x_N0,y_N0)代入步驟382)，得到其畸變矯正之后的像素坐標為M(x_Mrep0,y_Mrep0)和N(x_Nrep0,y_Nrep0)，進而得到相應線段長度為k＝0的管道輪廓在單目相機小孔成像模型中，△EOF與△MON相似，則得到線段MN到相機光心的距離為L₀＝D/d_MN0，其中，D為巷道中通信或電力傳輸管道的直徑；同樣重復上述過程，代入M(x_M1,y_M1)和N(x_N1,y_N1)得到L₁；

384)求解C₀和C₁以及其在相機坐標系下的真實坐標P₀和P₁；已知任意一個像素點p(x_i,y_i)在相機歸一化平面去畸變之后的坐標為(x_cor,y_cor,1)；中心點C₀在相機歸一化平面去畸變之后的坐標為(x_cor0,y_cor0,1)，且該點到相機坐標系原點的距離為L₀；記其在相機坐標系下的真實坐標為P₀(X₀,Y₀,Z₀)，其同相機歸一化平面上坐標縮放系數為有X₀＝s₀x_cor0，Y₀＝s₀y_cor0，Z₀＝s₀；同樣重復上述過程，中心點C₁在相機歸一化平面去畸變之后的坐標為(x_cor1,y_cor1,1)，且該點到相機坐標系原點的距離為L₁；記其在相機坐標系下的真實坐標為P₁(X₁,Y₁,Z₁)，其同相機歸一化平面上坐標縮放系數為有X₁＝s₁x_cor1，Y₁＝s₁y_cor1，Z₁＝s₁；

39)設O-XYZ為相機坐標系，在該坐標系中，管道所在向量為相機光軸單位向量為兩者夾角為進而得到偏航角W為單目相機采集圖像的圖像寬度；

步驟4)根據超聲波距離傳感器的檢測信息，判定巡檢無人機與巷道邊界和障礙物的距離；

步驟5)根據步驟3)和步驟4)獲取的巡檢無人機實時位置信息，實施其航向調節。

2.根據權利要求1所述的一種基于機器視覺的巷道巡檢無人機導航方法，其特征是，所述步驟2)的具體過程為：

21)單目相機采用棋盤格標定板的方式采集圖像；

22)對單目相機參數進行標定，獲得相機內參矩陣和畸變向量V_dist＝[k_tan1 k_tan2 k_tan3 q_rad1 q_rad2]；其中，f_x、f_y分別表示單目相機在X和Y方向上的焦距，(c_x,c_y)表示單目相機主光軸在像素坐標系下的坐標，k_tan1、k_tan2、k_tan3為單目相機切向畸變系數，q_rad1、q_rad2為單目相機徑向畸變系數。