[發(fā)明專利]一種基于深度學(xué)習(xí)的無人機(jī)高壓電網(wǎng)視頻巡檢飄掛物方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210973131.2
• 申請(qǐng)日: 2022-08-15
• 公開（公告）號(hào): CN115311584A
• 公開（公告）日: 2022-11-08
• 發(fā)明（設(shè)計(jì)）人: 龍玉江;衛(wèi)薇;李洵;方曦;鐘掖;盧仁猛;王卓月;龍娜;甘潤(rùn)東
• 申請(qǐng)（專利權(quán)）人: 貴州電網(wǎng)有限責(zé)任公司
• 主分類號(hào): G06V20/17
• 分類號(hào): G06V20/17;G06V20/40;G06V10/82;G06V10/764;G06N3/08;G06N3/04
• 代理公司: 貴陽(yáng)中新專利商標(biāo)事務(wù)所 52100
• 代理人: 商小川

本發(fā)明公開了一種基于深度學(xué)習(xí)的無人機(jī)高壓電網(wǎng)視頻巡檢飄掛物方法，所述方法包括：S1、構(gòu)建高壓電網(wǎng)飄掛物標(biāo)簽圖像數(shù)據(jù)集并進(jìn)行標(biāo)注；S2、構(gòu)建電網(wǎng)飄掛物視頻中關(guān)鍵幀提取模型，針對(duì)關(guān)鍵幀進(jìn)行特征提取檢測(cè)飄掛物；S3、基于高壓電網(wǎng)飄掛物圖像數(shù)據(jù)集以及巡檢視頻中與飄掛物無關(guān)的圖像數(shù)據(jù)進(jìn)行訓(xùn)練；S4、將待識(shí)別的電網(wǎng)飄掛物視頻數(shù)據(jù)送入高壓電網(wǎng)飄掛物關(guān)鍵幀提取模型并將獲取到的關(guān)鍵幀圖像輸入目標(biāo)檢測(cè)模型進(jìn)行檢測(cè)，獲取檢測(cè)框目標(biāo)檢測(cè)結(jié)果；解決了現(xiàn)有技術(shù)視頻中飄掛物圖像不清晰且提取困難，這就會(huì)對(duì)前期的標(biāo)注工作產(chǎn)生較壞的影響。巡檢機(jī)器人對(duì)飄掛物檢測(cè)精度不高，在巡檢工作中，有時(shí)會(huì)造成漏檢、誤檢等問題。

技術(shù)領(lǐng)域

本發(fā)明屬于監(jiān)控技術(shù)領(lǐng)域，尤其涉及一種基于深度學(xué)習(xí)的無人機(jī)高壓電網(wǎng)視頻巡檢飄掛物方法。

背景技術(shù)

為了確保電網(wǎng)設(shè)備安全穩(wěn)定運(yùn)行，對(duì)輸電線路必須經(jīng)常進(jìn)行易漂浮物大排查及清理工作。由于大風(fēng)可能引發(fā)異物搭掛、導(dǎo)線舞動(dòng)造成倒塔斷線等設(shè)備損傷現(xiàn)象，及時(shí)發(fā)現(xiàn)和消除危及線路安全的隱患，利用無人機(jī)可以高效快速的將長(zhǎng)距離電路進(jìn)行快速檢測(cè)巡查，使用深度學(xué)習(xí)的目標(biāo)檢測(cè)技術(shù)可以高效的檢測(cè)電網(wǎng)中懸掛的異物，能夠及時(shí)線路和設(shè)備進(jìn)行詳細(xì)檢查，掌握每條運(yùn)行線路、檢查設(shè)備及接點(diǎn)有無懸掛物現(xiàn)象，及時(shí)發(fā)現(xiàn)隱患。但視頻中飄掛物圖像不清晰且提取困難，這就會(huì)對(duì)前期的標(biāo)注工作產(chǎn)生較壞的影響。巡檢機(jī)器人對(duì)飄掛物檢測(cè)精度不高，在巡檢工作中，有時(shí)會(huì)造成漏檢，誤檢等現(xiàn)象。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題是：提供一種基于深度學(xué)習(xí)的無人機(jī)高壓電網(wǎng)視頻巡檢飄掛物方法，以解決現(xiàn)有技術(shù)視頻中飄掛物圖像不清晰且提取困難，這就會(huì)對(duì)前期的標(biāo)注工作產(chǎn)生較壞的影響。巡檢機(jī)器人對(duì)飄掛物檢測(cè)精度不高，在巡檢工作中，有時(shí)會(huì)造成漏檢、誤檢等問題。

本發(fā)明的技術(shù)方案是：

一種基于深度學(xué)習(xí)的無人機(jī)高壓電網(wǎng)視頻巡檢飄掛物方法，所述方法包括：

S1、構(gòu)建高壓電網(wǎng)飄掛物標(biāo)簽圖像數(shù)據(jù)集并進(jìn)行標(biāo)注；

S2、構(gòu)建電網(wǎng)飄掛物視頻中關(guān)鍵幀提取模型，針對(duì)關(guān)鍵幀進(jìn)行特征提取檢測(cè)飄掛物；

S3、基于高壓電網(wǎng)飄掛物圖像數(shù)據(jù)集以及巡檢視頻中與飄掛物無關(guān)的圖像數(shù)據(jù)進(jìn)行訓(xùn)練；

S4、將待識(shí)別的電網(wǎng)飄掛物視頻數(shù)據(jù)送入高壓電網(wǎng)飄掛物關(guān)鍵幀提取模型并將獲取到的關(guān)鍵幀圖像輸入目標(biāo)檢測(cè)模型進(jìn)行檢測(cè)，獲取檢測(cè)框目標(biāo)檢測(cè)結(jié)果。

關(guān)鍵幀提取模型使用殘差網(wǎng)絡(luò)模型，根據(jù)標(biāo)注的數(shù)據(jù)集進(jìn)行訓(xùn)練，該模型的作用是提取圖像中的特征，然后使用softmax函數(shù)進(jìn)行分類。

殘差網(wǎng)絡(luò)包括依次連接的5x5的卷積層和池化層，連接3x3的卷積層和1x1的卷積層，以及3x3的卷積層和池化層外加上一級(jí)的殘差數(shù)據(jù)構(gòu)成的殘差塊組成ResNet50模型，在模型的輸出層使用標(biāo)準(zhǔn)化編碼后使用softmax分類輸出類別并進(jìn)行打分。

關(guān)鍵幀提取模型將視頻中提取到的每一幀圖像進(jìn)行序列化計(jì)算并提取特征后的向量，softmax分類模型的打分算法采用向量矢量計(jì)算方法，使用包括飄掛物的視頻圖像數(shù)據(jù)訓(xùn)練Resnet50與softmax分類模型后將訓(xùn)練數(shù)據(jù)喂入模型后輸出的向量組成矩陣，對(duì)該矩陣的列與實(shí)際檢測(cè)時(shí)輸出的向量計(jì)算L2距離，最后打分是L2距離的均值。

關(guān)鍵幀提取模型采用分段檢測(cè)的優(yōu)化算法，在每一秒鐘的所有幀按照模型打分進(jìn)行閾值判斷，分值大于80％則進(jìn)行飄掛物檢測(cè)識(shí)別，同時(shí)也根據(jù)實(shí)際檢測(cè)效率和檢測(cè)效果動(dòng)態(tài)調(diào)整檢測(cè)范圍；然后對(duì)該幀后面連續(xù)30幀進(jìn)行飄掛物檢測(cè)；流程完畢后重新執(zhí)行關(guān)鍵幀檢測(cè)并重復(fù)上述流程。

基于高壓電網(wǎng)飄掛物圖像數(shù)據(jù)集以及巡檢視頻中與飄掛物無關(guān)的圖像數(shù)據(jù)進(jìn)行訓(xùn)練的方法為：在設(shè)置好Resnet50與分類模型結(jié)構(gòu)并將訓(xùn)練集完成后，使用COCO2017分類數(shù)據(jù)集對(duì)模型進(jìn)行預(yù)訓(xùn)練，將模型在多次迭代中學(xué)習(xí)網(wǎng)絡(luò)參數(shù)；然后使用預(yù)訓(xùn)練學(xué)習(xí)好的模型進(jìn)行遷移學(xué)習(xí)訓(xùn)練高壓電網(wǎng)飄掛物圖像數(shù)據(jù)集。