[發明專利]基于生成對抗網絡的紅外圖像電力設備分割方法

有效

• 申請號: 201911197103.0
• 申請日: 2019-11-29
• 公開（公告）號: CN110969634B
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 嚴利雄;李茗;劉曉華;司馬朝進;陳典麗;陳思哲;劉志鵬
• 申請（專利權）人: 國網湖北省電力有限公司超高壓公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06N3/04;G06N3/08;G06T7/50
• 代理公司: 北京中北知識產權代理有限公司 11253
• 代理人: 李新昂

1.基于生成對抗網絡的紅外圖像電力設備分割方法，其特征在于，包括以下步驟：

S1：準備網絡輸入數據；采用部署在電力系統中視頻監控設備和紅外檢測設備收集的電力設備的自然圖像數據集和熱成像圖像數據集；將所有的圖像大小歸一化為320mm×320mm，將其值減去均值除以方差，適應網絡的輸入；

S2：構建生成對抗模型:Cycle-Gan；

Cycle-Gan的網絡結構包括第一生成對抗網絡和第二生成對抗網絡，第一生成對抗網絡和第二生成對抗網絡形成循環的模型；第一生成對抗網絡和第二生成對抗網絡均由生成器和鑒別器構成；第一生成對抗網絡由彩色圖像生成熱成像圖像的網絡，包括生成器網絡G_vt和鑒別器網路D_vt；第二生成對抗網絡由熱成像圖生成彩色圖像的網絡，包括生成器網絡G_tv和鑒別器網路D_tv ；

Cycle-Gan的網絡結構中，對構成生成器的編碼解碼結構網絡，利用ResNet50網絡的特征提取層作為編碼網絡，利用對應的反卷積網絡作為解碼網絡，同時將網絡中的批歸一化替換成實例歸一化，以得到生成結果；其中，編碼解碼結構包括編碼器和解碼器；

Cycle-Gan的網絡結構中的鑒別器采用VGG19網絡結構；網絡的輸出包括判斷真假的分支和分類的分支，用于圖像生成真實的對應模態的圖像，并且身份標簽不發生改變；

S3：設計熱成像圖像語義分割模型；

在Cycle-Gan中建立不同模態之間的聯系，在后續的熱成像圖像語義分割網絡中，利用自然輸入圖像構建輔助熱成像語義分割的特征空間，進行熱成像圖像語義分割；

在熱成像圖像語義分割模型中，利用特征提取卷積網絡分別提取熱成像圖像和自然圖像的深度特征，然后采用級聯的方式將熱成像圖像的深度特征和自然圖像的深度特征進行級聯，該級聯的特征通過自然圖像輔助熱成像圖像進行語義分割；其中，對于自然圖像的特征提取采用現有的常用的語義分割模型，以將生成的自然圖像和原熱成像圖像的深度特征進行結合；

熱成像特征提取網絡采用殘差網絡ResNet50的前三層，并改變輸入的通道數以適應熱成像圖像，ResNet50在ImageNet數據集上進行預訓練；

最后，通過Cycle-Gan得到自然圖像數據，并利用上述的特征級聯的方式構建熱成像圖像的補充的特征空間，利用卷積層對級聯后的特征進行進一步學習，再利用一系列的卷積層和反卷積層輸出語義分割的結果；

S4：設計分割網絡的損失函數；對于Cycle-Gan分別設計兩個對抗損失，兩個重構損失，兩個分類損失，用于監督生成對抗模型的學習；對于熱成像語義分割網絡，采用常用的交叉熵損失。

2.根據權利要求1所述的基于生成對抗網絡的紅外圖像電力設備分割方法，其特征在于，在S4中，Cycle-Gan的對抗損失如下：

其中，x,y表示特定模態的真實的圖像數據，G(x),G(y)表示特定模態的生成的圖像數據；

Cycle-Gan的重構的損失如下：

Cycle-Gan的分類損失如下：

L_c＝[-log(s_i)]+[-log(l_i)]

其中，s_i和l_i為兩個鑒別器支路中的分類得分的其中一項。

3.根據權利要求1所述的基于生成對抗網絡的紅外圖像電力設備分割方法，其特征在于，在S3中，加入多尺度模塊，用于適應多尺度的目標；引入多個殘差連接，用于在模型學習過程中進行信息傳遞。