[發(fā)明專利]一種基于無人機視覺的沿山區(qū)公路自主巡檢系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202111151415.5
• 申請日: 2021-09-29
• 公開（公告）號: CN114089786A
• 公開（公告）日: 2022-02-25
• 發(fā)明（設(shè)計）人: 周家柳;羅喜伶;王珺珺
• 申請（專利權(quán)）人: 北京航空航天大學(xué)杭州創(chuàng)新研究院
• 主分類號: G05D1/12
• 分類號: G05D1/12
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 鄭海峰

1.一種基于無人機視覺的沿山區(qū)公路自主巡檢系統(tǒng)，其特征在于，包括：

若干無人機，所述的無人機搭載有攝像機和無人機循跡飛行模塊，所述的無人機循跡飛行模塊基于無人機上攝像機實時采集的圖像數(shù)據(jù)，通過檢測算法得到山區(qū)公路的車道線，基于所得到的車道線，控制無人機沿山區(qū)公路巡跡飛行；無人機循跡飛行模塊將無人機的位置、姿態(tài)、圖像視頻數(shù)據(jù)上傳到數(shù)據(jù)中心；

病害檢測評估模塊，所述病害檢測評估模塊設(shè)置在基站，其根據(jù)數(shù)據(jù)中心中無人機上攝像機采集的圖像視頻數(shù)據(jù)，進行基于深度學(xué)習(xí)的公路病害定位及基于遷移學(xué)習(xí)的公路病害分類評估，得到公路病害定位和分類結(jié)果上傳到數(shù)據(jù)中心；

數(shù)據(jù)中心，其用于存儲無人機的位置、姿態(tài)、圖像視頻數(shù)據(jù)，以及公路病害定位和分類結(jié)果數(shù)據(jù)；

山區(qū)公路巡檢可視化模塊，所述山區(qū)公路巡檢可視化模塊設(shè)置在基站，其通過合作地圖API，加載嵌入的地圖界面，通過調(diào)用相應(yīng)的API接口來實現(xiàn)地圖控件、覆蓋物、滾動縮放以及地圖類型轉(zhuǎn)換；山區(qū)公路巡檢可視化模塊獲取數(shù)據(jù)中心存儲的數(shù)據(jù)，實現(xiàn)視頻及圖像回放、病害可視化顯示，并通過數(shù)據(jù)實時更新實現(xiàn)無人機實時動態(tài)軌跡顯示。

2.根據(jù)權(quán)利要求1所述的基于無人機視覺的沿山區(qū)公路自主巡檢系統(tǒng)，其特征在于，所述的無人機循跡飛行模塊基于無人機上攝像機實時采集的圖像數(shù)據(jù)，通過檢測算法得到山區(qū)公路的車道線，具體為：

1)無人機上攝像機實時采集山區(qū)公路的圖像數(shù)據(jù)，對攝像頭采集的圖像數(shù)據(jù)進行去畸變和視覺增強；

2)利用Sobel算子提取圖像梯度信息，將圖像轉(zhuǎn)換成HLS通道提取顏色信息，將梯度信息和顏色信息疊加，得到車道線所對應(yīng)的像素所在位置；

3)對圖像進行透視變換，變成鳥瞰視角；

4)利用滑動窗口定位車道線；

5)將車道線檢測結(jié)果反投影到原圖。

3.根據(jù)權(quán)利要求2所述的基于無人機視覺的沿山區(qū)公路自主巡檢系統(tǒng)，其特征在于，所述的步驟4)具體為：

4.1)定位滑窗左右兩條車道線的搜尋起始點

首先，劃分搜素區(qū)域，按照x軸方向?qū)D像一分為二，劃分為左右兩個部分；然后，對二值圖像兩個部分在x方向做直方圖統(tǒng)計，定位峰值作為左右兩條車道線的搜尋起點；設(shè)置搜尋窗口的大小，即設(shè)置width和height；

4.2)搜尋過程

以搜尋起始點作為當前搜尋的基點，并以當前基點為中心，做網(wǎng)格化搜尋；其次，對每個搜尋窗口分別做水平和垂直方向直方圖統(tǒng)計，統(tǒng)計在搜索框區(qū)域內(nèi)非零像素個數(shù)，并過濾掉非零像素數(shù)目小于50的框；最后，計算非零像素坐標的均值作為當前搜索框的中心，并對這些中心點做一個二階的多項式擬合，得到當前搜尋對應(yīng)的車道線曲線參數(shù)；

4.3)更新搜尋基點

步驟4.2)中，二階多項式逼近后，會得到一個曲線方程：ay²+by+c＝x，令y＝img.height，得到新的搜尋基點；重復(fù)步驟4.2)的搜尋過程，得到新的搜尋基點對應(yīng)的車道線曲線參數(shù)；4.4)如果n個步長中均存在曲線，即已經(jīng)得到n個曲線方程，即，則n個曲線方程中斷開，即每三個曲線選取其中兩個；然后，將曲線方程離散化后的坐標點取均值，再做二階多項式逼近，得到車道線。

4.根據(jù)權(quán)利要求1所述的基于無人機視覺的沿山區(qū)公路自主巡檢系統(tǒng)，其特征在于，所述的基于所得到的車道線，控制無人機沿山區(qū)公路巡跡飛行，具體為：

對獲取的車道線數(shù)據(jù)進行離散化；根據(jù)離散化的數(shù)據(jù)形成控制點；然后獲取當前無人機位置與控制點偏差，將偏差值作為輸入進入PID控制器；PID控制器根據(jù)輸入偏差，計算輸出控制量，將PWM控制波輸出給無人機電機，控制電機沿車道線飛行。

5.根據(jù)權(quán)利要求1所述的基于無人機視覺的沿山區(qū)公路自主巡檢系統(tǒng)，其特征在于，所述的數(shù)據(jù)中心包括云數(shù)據(jù)中心和布置在基站的數(shù)據(jù)資源庫；數(shù)據(jù)中心采用SQL數(shù)據(jù)庫支持無人機收集的多源山區(qū)公路信息的存儲需求，采用NoSQL數(shù)據(jù)庫存儲無人機收集的文本、圖像、視頻數(shù)據(jù)；

所述數(shù)據(jù)中心提供一致的SQL語言接口用于數(shù)據(jù)訪問。

6.根據(jù)權(quán)利要求1所述的基于無人機視覺的沿山區(qū)公路自主巡檢系統(tǒng)，其特征在于，所述病害檢測評估模塊采用基于Faster R-CNN的公路路面病害檢測方法進行病害檢測，具體為：

病害檢測評估模塊的特征提取網(wǎng)絡(luò)對公路路面病害特征進行提取，輸出特征圖；候選區(qū)域網(wǎng)絡(luò)RPN在特征提取網(wǎng)絡(luò)輸出的特征圖上對候選區(qū)域進行提取，輸出包含有病害的候選區(qū)域；Fast R-CNN將特征提取網(wǎng)絡(luò)輸出的特征圖與RPN輸出的候選區(qū)域作為輸入，輸出病害類別與置信度，并對候選區(qū)域位置進行調(diào)整。