[發明專利]一種基于特征圖融合的類激活映射方法及裝置

在審

• 申請號: 202210448707.3
• 申請日: 2022-04-26
• 公開（公告）號: CN114821258A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 曾春艷;嚴康;王志鋒;萬相奎;馮世雄;孔帥;余琰;夏詩言;李坤
• 申請（專利權）人: 湖北工業大學
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/77;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 魯力

本發明涉及一種基于特征圖融合的類激活映射方法及裝置。首先將電氣設備圖像輸入至已訓練好的卷積神經網絡提取每一個卷積層的特征圖，并將其融合后輸出一個預測該圖像類別的分數，并計算特征圖相對于分數的梯度；將得到的梯度進行全局平均池化操作得到權重并將其與對應的特征圖相乘，ReLU操作后得到最后的類激活圖。本發明通過對深淺層特征圖的融合，可讓融合后的特征圖同時具備深淺層特征圖的優點，可以生成性能更好的類激活圖。

技術領域

本發明涉及計算機視覺、深度學習可解釋性領域，主要涉及一種基于特征圖融合的類激活映射方法及裝置。

背景技術

深度神經網絡(Deep Neural Networks,DNN)推動了深度學習在計算機視覺領域取得巨大進展。但其參數多、“端到端”、大量非線性網絡層的復雜組合等特點，讓人們無法理解模型做出決策的機理。模型可解釋性的缺失嚴重阻礙了其在醫學診斷、金融、自動駕駛、軍事等高風險決策領域的應用，因此對DNN可解釋性的研究具有重要意義。為了提高模型透明度，讓人們更加信任模型，諸多可解釋性方法相繼提出。其中可視化方法被廣泛研究，它以顯著圖的方式對模型表征和決策進行解釋，顯著圖中像素顏色強度對應著決策結果的重要性。可視化方法主要分為基于擾動、基于梯度、基于類激活映射。

通過對CNN的特征圖進行可視化可以得出以下結論：1.CNN不同層特征圖的關注點不同。淺層更傾向于學習邊緣、紋理等細節特征，提取出更全面、噪聲大的物體信息。2.越往高層特征表達越抽象，深層學習的是輪廓、形狀等代表性特征，只能學習到粗略的位置信息。越往高層的卷積層神經元，所含語義信息越豐富，對物體、場景等目標越具有區分性。3.雖然特征圖可視化能夠幫助理解CNN學習到了輸入圖像的哪些特征，但無法確定其中哪些特征與當前決策結果的關聯性更高，即無法對CNN的決策結果做出有效解釋。

基于類激活映射方法是目前最主流的可視化顯著圖技術，被廣泛應用于解釋模型內部決策，它能夠針對CNN決策結果生成特定類別相關的類激活圖，具有較好的類別區分性，可有效地定位目標對象。最早提出的基于類激活映射方法—CAM，它通過提取CNN最后一個卷積層的特征圖，與權重加權求和生成類激活圖。而在隨后提出的Grad-CAM、Grad-CAM++、Score-CAM方法中，它們都傾向于利用CNN最后一個卷積層來提取特征圖。上述方法具有一個共性問題：它們都依賴于CNN的最后一個卷積層來生成類激活圖。雖然CNN里最后一層卷積單元具有出色的定位物體能力，但最后一個卷積層輸出的空間分辨率較低，因此生成的類激活圖只能定位目標對象的粗略區域。而CNN的淺層具有更大的空間分辨率，能夠捕捉目標對象更細粒度的定位信息。因此，本發明以CNN每個卷積層為研究對象，通過合并不同卷積層生成的特征圖，提出一種基于特征圖融合的類激活映射方法—F-CAM(Feature mapfusion Class Activation Mapping-based)用于圖像識別的可解釋性研究，通過對深淺層特征圖的融合，可讓融合后的特征圖同時具備深淺層特征圖的優點，可以生成性能更好的類激活圖。

發明內容

本發明主要是解決現有類激活方法都依賴于CNN的最后一個卷積層來生成類激活圖，而生成的類激活圖只能定位目標對象的粗略區域的問題。如附圖1所示，本發明提出一種基于特征圖融合的類激活映射方法—F-CAM，生成的類激活圖可以獲得更精確且更有辨識度的定位信息。

本發明的上述技術問題主要是通過下述技術方案得以解決的：

一種基于特征圖融合的類激活映射方法，其特征在于，包括：

將電氣設備圖像輸入至已訓練好的卷積神經網絡提取每一個卷積層的特征圖，并將其融合后輸出一個預測該圖像類別的分數，并計算特征圖相對于分數的梯度；

將得到的梯度進行全局平均池化操作得到權重并將其與對應的特征圖相乘，ReLU操作后得到最后的類激活圖

在上述的一種基于特征圖融合的類激活映射方法，提取所有卷積層的特征圖并融合特征圖具體包括：