[發明專利]一種輸變電設備缺陷圖像自動識別方法

在審

• 申請號: 202210597960.5
• 申請日: 2022-05-30
• 公開（公告）號: CN114998248A
• 公開（公告）日: 2022-09-02
• 發明（設計）人: 陳亮;劉垚宏;李誠;徐彤;易偉;喻婷;楊斯旭;唐海東;汪曉帆
• 申請（專利權）人: 國網四川省電力公司眉山供電公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T5/40;G06T5/00;G06V10/774;G06V10/82;G06V20/17;G06N3/04
• 代理公司: 成都聚蓉眾享知識產權代理有限公司 51291
• 代理人: 孔靜

1.一種輸變電設備缺陷圖像自動識別方法，其特征在于，包括以下步驟：

(A)作業人員操控無人機，對輸變電設備進行巡檢，作業人員觸發無人機拍照指令，巡檢軟件就立刻記錄當前巡檢點位的飛行數據和圖像數據；

(B)對采集的圖像數據進行預處理，首先對圖像進行基于Gamma校正的非線性灰度變化以，構造非線性變換：

s＝cr^γ (0)；

其中，r表示原始圖像的灰度級，s表示變換后的灰度級，c和γ為正常數，γ＞1時，輸入越亮輸出值越加強，即圖像變亮，γ＜1時，輸入越亮輸出值越減弱，即圖像變暗；γ＝1時，表示為線性變換，圖像亮度不變；因此，提出根據圖像的平均灰度值的大小來決定γ的取值：

式(2)中，圖像的分辨率為m×n，f(i,j)為點(i,j)上的灰度值；根據與γ的對應關系，帶入式(1)即完成了圖像的灰度校正；同時，為了增強圖像整體對比度，使用直方圖均衡化，即調用直方圖均衡化函數：

式(3)中，MN為圖像像素總數，n_k是灰度為r_k的像素個數，L是圖像的灰度級數量，T(r_k)為直方圖均衡化函數；通過式(3)，輸出圖像中像素的灰度值可由輸入圖像中像素灰度r_k映射為s_k后得到；

最后，采用小波去噪算法對圖像進行去噪處理；

(C)通過生產對抗網絡對預處理后的圖像進行數據增廣，擴充圖像數據集；

(D)得到擴充后的圖像數據集之后，對圖像數據集中所有輸電線路的桿塔鳥巢缺陷區域、導線斷股缺陷區域、導線散股缺陷區域、絕緣子自爆缺陷區域的部分用矩形框進行標注，記錄所有的缺陷坐標信息；采用基于Faster R-CNN目標檢測網絡進行輸變電設備缺陷圖像的自動識別，Faster R-CNN目標檢測網絡包含兩個網絡：區域候選網絡RPN和Fast R-CNN檢測網絡；Faster R-CNN目標檢測網絡的訓練和檢測過程通過區域候選網絡RPN和FastR-CNN檢測網絡進行，具體訓練過程可分為以下步驟：

S1，輸入經過預處理后的輸電線路圖像樣本到CNN網絡，輸入到CNN網絡的圖像數據進行卷積運算，得到圖像特征圖；

S2，提取輸入的圖像特征圖的多個候選區域，區域候選網絡RPN使用3*3的卷積核對共享卷積層提供的圖像特征圖進行卷積運算，獲得一個256維的特征向量，代表原始圖像中相對應位置的特征；并且為每個滑動窗口給出9種區域建議:以滑動窗口為中心，三種尺度和三種長寬比；繼而滑動窗口的卷積有9個區域建議，使得區域建議更加精確，有利于后續的分類和目標框調整，接著通過2個全連接層分別得到區域建議和區域得分；因此，經過RPN網絡在圖像特征圖上生成包含輸電線路桿塔鳥巢缺陷區域、導線斷股缺陷區域、導線散股缺陷區域、絕緣子自爆缺陷區域的大量候選區域框，對候選區域框進行非最大值抑制，保留得分最高的前300個框；

S3，提取所述候選區域的特征，對S2得到的每個候選區域使用Fast R-CNN網絡進行特征提取，形成高維的特征向量；

S4，使用分類器對所述特征進行分類，將S3中獲得的特征量送入一個線性分類器計算這些特征屬于輸電線路四類缺陷中某個類別的概率，作為分類依據以確定所述特征是否符合一個類別；

S5，對符合輸電線路桿塔鳥巢缺陷區域、導線斷股缺陷區域、導線散股缺陷區域、絕緣子自爆缺陷區域類別的特征對應的候選區域進行邊框回歸；由Fast R-CNN檢測網絡計算類別得分，對輸電線路桿塔鳥巢缺陷區域、導線斷股缺陷區域、導線散股缺陷區域、絕緣子自爆缺陷區域目標外圍框的大小和位置進行精細回歸，預測出更合適的輸電線路桿塔鳥巢缺陷區域、導線斷股缺陷區域、導線散股缺陷區域、絕緣子自爆缺陷區域目標的外圍框位置。

(E)完成輸變電設備缺陷圖像的自動識別。

2.按照權利要求1所述的一種輸變電設備缺陷圖像自動識別方法，其特征在于，所述步驟(B)中，小波去噪算法對圖像進行去噪處理的具體步驟如下：

(a)對應尺度j，基于一個小波函數和分解處理，對含有噪聲的圖像信號進行小波變換，獲得不同尺度上的子圖像；

(b)在不同尺度上對細節的小波變換系數設定閾值，把噪聲從信號中分離出來；

(c)用重構算法實現圖像的復原。

3.按照權利要求1所述的一種輸變電設備缺陷圖像自動識別方法，其特征在于，所述步驟(C)中，生產對抗網絡的生成網絡G的輸入為隨機噪聲z和條件特征c，輸出為生成圖像，鑒別網絡D的輸入為生成圖像和加入條件特征c的真實圖像，鑒別網絡D需要判斷輸入圖像的真偽，輸出一個二元概率分布，整個過程的損失函數可以表示為：

式(4)中，p_data(x)表示真實圖像的分布，p_z(z)表示隨機噪聲z假樣本的分布，具體訓練過程為：

在每一個epoch中：

S`1,鑒別網絡D先訓練k次：從高斯分布p_z中采樣m個隨機樣本{z⁽¹⁾,…,z^(m)}，從真實圖像分布p_data隨機抽取m個樣本集{x⁽¹⁾,…,x^(m)}，{x⁽¹⁾,…,x^(m)}對應著m個標簽{c⁽¹⁾,…,c^(m)}，這些作為鑒別網絡D的輸入，用梯度下降法使鑒別網絡D的損失函數越小，在訓練鑒別網絡D的時候生產網絡G中的所有參數固定，即不參加訓練；

S`2，再訓練生產網絡G1次：從高斯分布p_z中采樣m個隨機樣本{z⁽¹⁾,…,z^(m)}，將{x⁽¹⁾,…,x^(m)}對應的m個標簽{c⁽¹⁾,…,c^(m)}都輸入到生產網絡G中，用梯度下降法使生產網絡G的損失函數越小，在訓練生產網絡G的時候鑒別網絡D中的所有參數也要固定住，即不參加訓練；

S`3,直到所有epoch執行完畢，訓練結束，輸出生成圖像。