[發明專利]基于邊緣輔助學習的熱紅外電氣設備圖像語義分割方法

在審

• 申請號: 202111496557.5
• 申請日: 2021-12-09
• 公開（公告）號: CN114140480A
• 公開（公告）日: 2022-03-04
• 發明（設計）人: 王福田;郭尹;湯進
• 申請（專利權）人: 安徽大學
• 主分類號: G06T7/12
• 分類號: G06T7/12;G06T7/13
• 代理公司: 南京華恒專利代理事務所(普通合伙) 32335
• 代理人: 宋方園

本發明公開一種基于邊緣輔助學習的熱紅外電氣設備圖像語義分割方法，通過轉換模塊和全局信息集成模塊將從原始輸入圖像中提取的特征進行轉換，將對邊緣檢測和語義分割任務進行同步優化，同時為更好的實現語義分割和邊緣優化的聯合優化，使用交叉引導單元進行簡單特征變換，將解碼器中兩條不同分支進行交互，使得兩種任務達到聯合優化的效果。此外，本發明在卷積神經網絡的模塊輸入端增加有真值監督,由此本發明不僅可以預測到更準確的目標邊界，而且能夠通過邊緣檢測分支來輔助語義分支得到更準確的分割結果。

技術領域

本發明屬于計算機視覺處理技術，具體涉及一種基于邊緣輔助學習的熱紅外電氣設備圖像語義分割方法。

背景技術

長時間處于運行狀態下的電氣設備，因為易受到外界環境和天氣等因素的影響，所以容易出現故障，對電力系統的安全運行構成威脅。近幾年，伴隨著科技的持續發展，紅外診斷技術開始被應用故障診斷中。這是因為大多數故障諸如接觸不良、絕緣老化或磁路故障等均會以發熱升溫的形式表現出來，而熱紅外圖像可以獲取到設備的溫度信息。目前，更多的人員著眼于研究基于熱紅外圖像的電氣設備檢測。但是，目標檢測的方法獲取到的目標區域是一個大致的范圍，語義分割方法可以獲得更加精確的定位信息。

圖像語義分割的任務是為圖像中的每個像素分配一個對應的語義標簽，實現從粗粒度到細粒度的語義推理過程，最終獲得具有像素語義注釋的分割圖像。本文對熱紅外電氣設備語義分割進行研究，目的是從單個熱紅外圖像中分割出不同的電氣設備。

從熱紅外圖像中準確區分電氣設備是一項非常具有挑戰性的任務。紅外熱像儀成像通常會導致較低的圖像對比度和模糊的物體邊緣輪廓。同時，電氣設備的結構也相對復雜，通常具有尖銳的突起，這些問題使網絡難以準確識別對象邊界，而現有的在自然場景下的方法很難直接應用于電氣設備的熱紅外成像圖中。

現有的語義分割方法大多是基于全卷積網絡進行改進，全卷積網絡是深度學習用于語義分割的開創之作，確立了圖像語義分割的通用網絡模型框架。全卷積網絡可以輸入任意大小的圖像，是第一個端到端的分割網絡模型。另外，對于語義分割這樣的像素級分類任務，使用上下文信息可以捕獲長距離的依賴關系，提高對象的內部一致性，從而進一步提升分割精度。對于像素級分類任務的語義分割，利用上下文信息可以捕獲長距離依賴，提高對象的內部一致性，進一步提高分割的準確性。同時，邊緣信息實現精確的語義分割也是至關重要的。

然而，上述現有技術方案只考慮利用邊緣信息單向的輔助分割任務，而忽略了邊緣檢測和語義分割是兩個相輔相成的任務，通過對邊緣檢測和語義分割任務進行交互學習得到的線索對最終的預測有積極的影響。

發明內容

發明目的：本發明的目的在于解決現有技術中存在的不足，提供一種基于邊緣輔助學習的熱紅外電氣設備圖像語義分割方法，本發明通過一種雙路徑解碼結構，聯合語義分割和邊緣優化這兩個不同的任務進行交互優化學習來解決現有技術中處理電氣設備熱紅外圖像多目標分割的問題，以獲得更高質量的分割結果。

技術方案：本發明的一種基于邊緣輔助學習的熱紅外電氣設備圖像語義分割方法，包括以下步驟：

步驟S1、將帶有精細標注的電氣設備圖像輸入神經網絡，其中使用在ImageNet數據集上預訓練的ResNet-101卷積神經網絡作為網絡特征編碼部分；

步驟S2、使用ResNet-101卷積神經網絡從輸入圖像中提取四個不同尺度的多級特征C₁～C₄，并通過轉換模塊首先將網絡主干中前三層特征C₁～C₃的通道數統一至256，轉換后的特征標依次記為T₁～T₃；

步驟S3、將最深層特征C₄送入一個全局信息集成模塊，得到一個含有全局上下文信息的特征，標記為T₄；