[發(fā)明專利]基于視覺導(dǎo)航技術(shù)的無人機高精度饒塔智能巡檢方法

在審

• 申請?zhí)枺?/td>: 202011083101.1
• 申請日: 2020-10-12
• 公開（公告）號: CN112229845A
• 公開（公告）日: 2021-01-15
• 發(fā)明（設(shè)計）人: 何惠松;王雷;楚明月;胡永輝;裴付中;盛從兵;李玉偉;張哲;郭彥輝
• 申請（專利權(quán)）人: 國網(wǎng)河南省電力公司濮陽供電公司;國家電網(wǎng)有限公司
• 主分類號: G01N21/88
• 分類號: G01N21/88;G01C11/00;G01C11/06;H02G1/02;G06K9/00;G06N3/04;G06N3/08;B64C39/02
• 代理公司: 鄭州優(yōu)盾知識產(chǎn)權(quán)代理有限公司 41125
• 代理人: 張彬

1.一種基于視覺導(dǎo)航技術(shù)的無人機高精度饒塔智能巡檢方法，其特征在于，包括如下步驟：

S1，建立直線桿塔及非直線桿塔類型數(shù)據(jù)庫，收集所有重要部件的標(biāo)準(zhǔn)圖像及缺陷圖像，對標(biāo)準(zhǔn)圖像和缺陷圖像中的重要部件進(jìn)行目標(biāo)框標(biāo)示形成重要部件圖像數(shù)據(jù)集；

S2，對步驟S1所建立的重要部件圖像數(shù)據(jù)集中的圖像進(jìn)行處理，將重要部件圖像數(shù)據(jù)集隨機劃分為樣本數(shù)據(jù)集和測試數(shù)據(jù)集；

S3，基于yolo v4目標(biāo)檢測算法建立卷積神經(jīng)網(wǎng)絡(luò)模型，利用步驟S2中的樣本數(shù)據(jù)集對卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練分別建立巡檢圖像前端部件識別模型和巡檢圖像缺陷識別模型；

S4，通過點云及無人機控制裝置生成無人機的自動飛行航線；

S5，無人機按照步驟S4所生成的自動飛行航線飛行，在每一個桿塔處根據(jù)步驟S1中的直線桿塔及非直線桿塔類型數(shù)據(jù)庫對桿塔類型進(jìn)行識別，再利用步驟S3所建立的巡檢圖像前端部件識別模型對所有桿塔上的各重要部件進(jìn)行圖像拍攝直至航線飛行結(jié)束；

S6，利用步驟S3所建立的巡檢圖像缺陷識別模型對步驟S5中所拍攝的圖像進(jìn)行缺陷識別輸出缺陷識別圖像。

2.根據(jù)權(quán)利要求1所述的基于視覺導(dǎo)航技術(shù)的無人機高精度饒塔智能巡檢方法，其特征在于，在步驟S1中，所述直線桿塔及非直線桿塔類型數(shù)據(jù)庫包括直線桿塔及非直線桿塔的圖像、直線桿塔上重要部件的拍攝航線；所述重要部件包括絕緣子串、防振錘、間隔棒、均壓環(huán)。

3.根據(jù)權(quán)利要求1或2所述的基于視覺導(dǎo)航技術(shù)的無人機高精度饒塔智能巡檢方法，其特征在于，所述步驟S3包括如下步驟：

S3.1，通過參數(shù)配置文件設(shè)置參數(shù)，所述參數(shù)包括初始學(xué)習(xí)率、學(xué)習(xí)步長、圖像學(xué)習(xí)次數(shù)和判別精度閾值；

S3.2，選取yolo v4單階段目標(biāo)檢測算法，利用參數(shù)配置文件初始化卷積神經(jīng)網(wǎng)絡(luò)模型；

S3.3，利用步驟S2中的樣本數(shù)據(jù)集對卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練分別建立巡檢圖像前端部件識別模型和巡檢圖像缺陷識別模型；

S3.4，利用測試數(shù)據(jù)集分別對巡檢圖像前端部件識別模型和巡檢圖像缺陷識別模型進(jìn)行模型精度測試，利用巡檢圖像前端部件識別模型和巡檢圖像缺陷識別模型的判別結(jié)果目標(biāo)框與測試數(shù)據(jù)集中的目標(biāo)框進(jìn)行重疊度計算，最終獲得模型平均準(zhǔn)確率；

S3.5，將步驟S3.4所計算出的模型平均準(zhǔn)確率分別與步驟S3.1所設(shè)定的判別精度閾值進(jìn)行比較，若模型平均準(zhǔn)確率均大于判別精度閾值，則執(zhí)行步驟S4，否則，返回步驟S3.3。

4.根據(jù)權(quán)利要求3所述的基于視覺導(dǎo)航技術(shù)的無人機高精度饒塔智能巡檢方法，其特征在于，所述模型平均準(zhǔn)確率的計算公式為：

式中，AP表示模型平均準(zhǔn)確率，P表示準(zhǔn)確率，r表示召回率。

5.根據(jù)權(quán)利要求3所述的基于視覺導(dǎo)航技術(shù)的無人機高精度饒塔智能巡檢方法，其特征在于，所述步驟S4包括如下步驟：

S4.1，無人機控制裝置對無人機進(jìn)行控制，無人機對所有桿塔進(jìn)行桿塔圖像拍照并對應(yīng)記錄桿塔的位置數(shù)據(jù)，通過多角度拍攝照片生成LAS點云；

所述位置數(shù)據(jù)包括經(jīng)度、緯度和海拔高度。

S4.2，根據(jù)步驟S4.1所生成的LAS點云判斷所述桿塔是否為直線塔，若為直線塔，調(diào)用步驟S1中的直線桿塔及非直線桿塔類型數(shù)據(jù)庫生成直線塔飛行航線，若不為直線塔，利用無人機控制裝置手動打點，同時記錄手動打點位置的位置數(shù)據(jù)生成非直線塔飛行航線；

S4.3，根據(jù)步驟S4.1中的桿塔的位置數(shù)據(jù)和步驟S4.2中的直線塔飛行航線和非直線塔飛行航線生成自動飛行航線。

6.根據(jù)權(quán)利要求1所述的基于視覺導(dǎo)航技術(shù)的無人機高精度饒塔智能巡檢方法，其特征在于，所述巡檢圖像缺陷識別模型識別缺陷的方法為：

S6.1，巡檢圖像缺陷識別模型對輸入的圖像進(jìn)行檢測，根據(jù)圖像獲取每個圖像所對應(yīng)的至少3個尺度的特征圖；

S6.2，巡檢圖像缺陷識別模型對每個特征圖進(jìn)行目標(biāo)窗口預(yù)測，利用非極大值抑制算法去除目標(biāo)窗口中的冗余窗口；

S6.3，利用巡檢圖像缺陷識別模型對步驟S6.2所得到的去除冗余窗口后的目標(biāo)窗口進(jìn)行識別，輸出對應(yīng)的缺陷識別圖像。