[發明專利]基于邊緣輔助學習的熱紅外電氣設備圖像語義分割方法

在審

• 申請號: 202111496557.5
• 申請日: 2021-12-09
• 公開（公告）號: CN114140480A
• 公開（公告）日: 2022-03-04
• 發明（設計）人: 王福田;郭尹;湯進
• 申請（專利權）人: 安徽大學
• 主分類號: G06T7/12
• 分類號: G06T7/12;G06T7/13
• 代理公司: 南京華恒專利代理事務所(普通合伙) 32335
• 代理人: 宋方園

1.一種基于邊緣輔助學習的熱紅外電氣設備圖像語義分割方法，其特征在于：包括以下步驟：

步驟S1、將帶有精細標注的電氣設備圖像輸入神經網絡，其中使用在ImageNet數據集上預訓練的ResNet-101卷積神經網絡作為網絡特征編碼部分；

步驟S2、使用ResNet-101卷積神經網絡從輸入圖像中提取四個不同分辨率的多級特征C₁～C₄，并通過轉換模塊首先將網絡主干中前三層特征C₁～C₃的通道數統一至256，轉換后的特征標依次記為T₁～T₃；

步驟S3、將最深層特征C₄送入全局信息集成模塊，進而得到一個含有全局上下文信息的特征，標記為T₄；

步驟S4、從T₄特征中進行邊緣預測，得到邊緣特征E₄，并將邊緣信息作為輔助的學習信息，然后增加一條邊緣解碼分支以獲得與不同尺度語義特征相對應分辨率的邊緣特征E₁～E₄；

步驟S5、利用特征T₁～T₄形成一條解碼路徑，將此解碼路徑分支與步驟S4中的邊緣解碼分支相聯合，然后利用交叉引導單元實現對語義特征和邊緣特征進行聯合學習和互相優化；

步驟S6、將步驟S5中所得每一個交叉引導單元的輸出特征與對應的語義特征沿通道進行拼接，并作為下一個交叉引導單元的語義特征部分的輸入，依次記為特征S₁～S₃，第一個交叉引導單元的輸入是從T₄特征中預測得到的語義特征S₄，最終輸出預測圖；

步驟S7、通過交叉熵損失函數和二元交叉熵損失函數組合監督訓練網絡模型。

2.根據權利要求1所述的基于邊緣輔助學習的熱紅外電氣設備圖像語義分割方法，其特征在于：所述步驟S1中ResNet-101卷積神經網絡去除全連接層的共享參數，該特征編碼器對輸入的電氣設備圖像提取四個特征，依次為C₁、C₂、C₃、C₄，這四個特征的分辨率依次為120×120、60×60、30×30和15×15。

3.根據權利要求1所述的基于邊緣輔助學習的熱紅外電氣設備圖像語義分割方法，其特征在于：所述步驟S3的全局信息集成模塊將特征C₄轉換為特征T₄的具體內容為：

先將特征C₄輸入局信息集成模塊，然后通過金字塔池化處理得到具有全局感受野的特征C₄′，同時使用卷積操作對特征C₄進行微調得到C₄”；接著，將C₄′和C₄”進行乘法所得特征再與特征C₄逐像素相加，獲取到最終的輸出T₄。

4.根據權利要求1所述的基于邊緣輔助學習的熱紅外電氣設備圖像語義分割方法，其特征在于：所述步驟S5和步驟S6中的交叉引導單元的具體工作流程為：

通過特征T₄分別通過語義預測和邊緣預測獲取語義特征和邊緣特征，然后將語義特征和邊緣特征進行特征變換后獲得特征X，第i個特征表示為：

其中，S_i是相對應第i個語義特征圖輸入，E_i是相對應第i個邊緣特征圖輸入α(E_i)、的維度與E_i相同，表示對E_i分別使用了不同的卷積操作；

再將獲取到的特征X_i與S_i進行融合，聯合分割特征與邊緣特征進行優化，交叉引導單元的最終輸出D表示為：

D＝Upsample(Sum(S_i,X_i))

同時，在每個交叉引導單元的輸入兩端分別使用語義真值和邊緣真值進行監督來對生成的特征進行相互約束，從而使邊緣特征與分割特征相互優化得到更精確的分割結果。

5.根據權利要求1所述的基于邊緣輔助學習的熱紅外電氣設備圖像語義分割方法，其特征在于：所述步驟S7中交叉熵損失函數和二元交叉熵損失函數組合為L，

損失函數組合L為解碼器中兩個分支的輔助損失與最終預測損失相結合，其中，n是交叉引導單元的使用個數，n＝4，同時在每個交叉引導單元的兩端均增加輔助損失；

l_s是應用于分割任務的交叉熵損失函數，計算為：

其中，H、W分別表示圖像的高度和寬度，S_x,y表示像素(x,y)的真值標簽，若類別為k，則否則為0；表示在位置(x,y)上像素屬于第k類的相應概率；

另外，在邊緣分支中使用二元交叉熵損失l_e函數進行監督，l_e計算為：

其中，E_x,y表示像素(x,y)的真值標簽，P_x,y表示在位置(x,y)上邊緣對象的相應概率。