[發(fā)明專利]基于YOLOv3檢測(cè)定位裁剪及fine-tune的輸電線路巡檢圖像處理方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110589371.8
• 申請(qǐng)日: 2021-05-28
• 公開（公告）號(hào): CN113327255A
• 公開（公告）日: 2021-08-31
• 發(fā)明（設(shè)計(jì)）人: 張錫波;張艷;何德勇;琚小明;胡妙
• 申請(qǐng)（專利權(quán)）人: 寧波新勝中壓電器有限公司;華東師范大學(xué)
• 主分類號(hào): G06T7/11
• 分類號(hào): G06T7/11;G06T7/90;G06N3/04;G06N3/08;G06Q10/00;G06Q50/06;G06T5/00;G06T5/40
• 代理公司: 上海藍(lán)迪專利商標(biāo)事務(wù)所(普通合伙) 31215
• 代理人: 徐筱梅;張翔

本發(fā)明公開了一種基于YOLOv3檢測(cè)定位裁剪及fine?tune的輸電線路巡檢圖像處理方法，針對(duì)無人機(jī)在輸電線路巡檢中所采集到的圖像或視頻，進(jìn)行輸電線路的缺陷檢測(cè)，比如鳥巢以及絕緣子爆裂等。方法具體包括：利用CycleGAN網(wǎng)絡(luò)和常見數(shù)據(jù)擴(kuò)增方法進(jìn)行負(fù)樣本的擴(kuò)充；采用直方圖均衡化、中值濾波進(jìn)行圖像預(yù)處理；使用YOLOv3實(shí)現(xiàn)目標(biāo)檢測(cè)定位，剪裁掉圖像中的無關(guān)內(nèi)容，構(gòu)成訓(xùn)練集；訓(xùn)練基于fine?tune方法構(gòu)建的resnet152缺陷識(shí)別網(wǎng)絡(luò)，確定缺陷檢測(cè)模型。本發(fā)明可以降低人工巡檢成本，自動(dòng)檢測(cè)輸電線路上的缺陷，保障國家電力系統(tǒng)的安全運(yùn)行。

技術(shù)領(lǐng)域

本發(fā)明涉及電網(wǎng)運(yùn)維技術(shù)領(lǐng)域，并且更具體地，涉及一種基于YOLOv3檢測(cè)定位裁剪及fine-tune的輸電線路巡檢圖像處理方法。

背景技術(shù)

電力系統(tǒng)是國家的命脈，輸電線路是電力系統(tǒng)中重要的組成部分，輸電線路正常有序的運(yùn)行是國家經(jīng)濟(jì)平穩(wěn)發(fā)展的重要保證。隨著我國電力建設(shè)的發(fā)展，輸電線路的距離越來越長，也越來越遠(yuǎn)離城市和主要交通干道，對(duì)其的巡檢維護(hù)面臨著諸多的困難。傳統(tǒng)輸電線路檢查維護(hù)基本采用人工操作，主要檢測(cè)方式為使用肉眼或望遠(yuǎn)鏡進(jìn)行觀測(cè)，對(duì)于觀察存在困難的，還需要攀爬線路桿塔進(jìn)行逐個(gè)排查，這種傳統(tǒng)的線路巡檢方式難以滿足目前的發(fā)展需求。

無人機(jī)具備小巧靈便、容易操控、成本低廉等優(yōu)勢(shì)，且無人機(jī)巡檢成本僅為人工巡檢的30％，因此無人機(jī)越來越多地被使用在電力巡檢工作中。但無人機(jī)提供了大量設(shè)備巡檢圖像，僅依靠人工難以滿足圖像的物體識(shí)別與處理及時(shí)性，需要使用基于人工智能深度學(xué)習(xí)的圖像物體自動(dòng)識(shí)別與處理技術(shù)。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于YOLOv3檢測(cè)定位裁剪及fine-tune的輸電線路巡檢圖像處理方法，該方法能夠?qū)崿F(xiàn)無人機(jī)巡檢圖片的缺陷識(shí)別，保證電網(wǎng)的運(yùn)行安全。

實(shí)現(xiàn)本發(fā)明目的的具體技術(shù)方案是：

本發(fā)明提供的一種基于YOLOv3檢測(cè)定位裁剪及fine-tune的輸電線路巡檢圖像處理方法，包括：

利用無人機(jī)進(jìn)行電網(wǎng)輸電線巡檢，獲得巡檢圖像；

缺陷數(shù)據(jù)集構(gòu)建：利用CycleGAN網(wǎng)絡(luò)實(shí)現(xiàn)正常樣本和故障樣本之間相互轉(zhuǎn)化，另外采用常見數(shù)據(jù)擴(kuò)增方法進(jìn)行負(fù)樣本的擴(kuò)充，主要包括平移、旋轉(zhuǎn)和改變圖像亮度、飽和度的方式，并且人工標(biāo)注缺陷圖像。

圖像預(yù)處理：對(duì)訓(xùn)練數(shù)據(jù)集采用直方圖均衡化進(jìn)行圖像增強(qiáng)，利用中值濾波進(jìn)行濾波去噪；

目標(biāo)檢測(cè)：利用YOLOv3對(duì)訓(xùn)練集進(jìn)行目標(biāo)檢測(cè)定位，并針對(duì)識(shí)別框剪裁掉圖像中的無關(guān)內(nèi)容,得到裁剪后的訓(xùn)練集。

缺陷識(shí)別:利用裁剪后的訓(xùn)練集訓(xùn)練基于fine-tune方法構(gòu)建的resnet152網(wǎng)絡(luò)，確定模型缺陷檢測(cè)模型。若實(shí)際巡檢圖像輸入缺陷檢測(cè)模型，相應(yīng)的缺陷類型的置信度大于預(yù)先設(shè)定的檢出閾值，則判斷該缺陷存在。

進(jìn)一步地，利用CycleGAN網(wǎng)絡(luò)實(shí)現(xiàn)正常樣本和故障樣本之間相互轉(zhuǎn)化，具體實(shí)現(xiàn)方法為：

將相同數(shù)目的正負(fù)樣本作為訓(xùn)練集，訓(xùn)練基于Tensorflow實(shí)現(xiàn)的CycleGAN網(wǎng)絡(luò)，確定模型。再輸入無缺陷的樣本，便可得到相應(yīng)的有缺陷樣本，解決正負(fù)樣本數(shù)量差距問題。

進(jìn)一步地，采用常見數(shù)據(jù)擴(kuò)增方法進(jìn)行負(fù)樣本的擴(kuò)充，具體通過keras自帶的keras.preprocessing.image.ImageDataGenerator類來實(shí)現(xiàn)。

進(jìn)一步地，采用直方圖均衡化進(jìn)行圖像增強(qiáng)，具體為：

對(duì)紅、綠、藍(lán)三個(gè)顏色通道分開處理，設(shè)原始圖像在(x,y)處的灰度為f，而均衡化后的灰度為g，則該過程可表述為將(x,y)處的灰度f映射為g，數(shù)學(xué)方法可定義為公式

g(x,y)＝T[f(x,y)]，