[發明專利]一種基于綜合類激活映射的圖像分類可解釋方法

在審

• 申請號: 202210629390.3
• 申請日: 2022-06-02
• 公開（公告）號: CN114913378A
• 公開（公告）日: 2022-08-16
• 發明（設計）人: 黃金杰;姬遠方
• 申請（專利權）人: 哈爾濱理工大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/30;G06V10/82
• 代理公司: 暫無信息
• 代理人: 暫無信息

一種基于綜合類激活映射的圖像分類可解釋性方法。本發明公開了一種基于綜合類激活映射的圖像分類可解釋性方法，可以實現類判別性更好、噪聲更小的解釋效果。它的可解釋方法如下：為了讓權值的求解具有一定的數學邏輯依據，引入敏感性和一致性公理；使用消融下降(Ablation drop)作為特征圖的初始權重，以解決梯度加權類激活映射存在的梯度飽和問題；將初始掩碼進行雙線性插值上采樣、歸一化和高斯噪聲處理操作；處理后的掩碼與輸入圖像進行哈達瑪積，經網絡模型計算后進行加權平均處理得到激活圖的最終權重。本發明應用于卷積神經網絡圖像分類模型的可解釋性。

技術領域

本發明涉及深度學習可解釋性技術領域中，具體涉及一種基于綜合類激活映射的圖像分類可解釋方法。

背景技術

近年來，深度學習在圖像、聲音、自然語言處理等領域取得卓越成效，但對于產生的結果是不容易解釋的，有些情況下甚至是不可控的，這一架構在“端到端”模式下、通過計算大量的數據來進行誤差反向傳播而優化參數的學習方法被比喻為一個“黑盒子”。在圖像目標識別的過程中機理不清楚，造成目標特征不直觀、網絡可分性不可控，對很多現象無法正確解釋。由于模型內部的非線性和復雜性，導致無法以人類可理解的方式理解模型的決策結果，造成了深度學習模型的不可解釋性，人們難以得知深度模型到底從訓練數據中學到了哪些東西，以及如何進行最終決策的，這極大地限制了深度模型的廣泛應用。深度學習模型的不可解釋性也會帶來許多潛在的危險，尤其是在安全攻防領域。一方面會降低模型的可信賴度，難以讓人類相信深度學習模型；另一方面也會帶來比較棘手的安全性問題，例如，當對抗樣本擾動對模型造成干擾時，很難弄清楚導致結果出現了巨大偏差的原因，從而導致難以對對抗攻擊的來源進行追蹤。

因此，開展深度卷積神經網絡圖像分類任務的可解釋性算法研究，解決多層智能識別網絡缺乏數學理論支撐、存在機理不明確等問題。突破網絡結構、參數尋優、收斂控制、誤差邊界、學習速度等黑盒因素的數學解釋的關鍵技術，解決無法使用模型解析方法對智能算法提供可靠性理論依據的問題。

發明內容

本發明的目的是為了實現類判別性更好、噪聲更小的解釋效果，提出的一種基于綜合類激活映射的圖像分類可解釋方法。

上述發明目的主要是通過以下技術方案實現的：

S1、將輸入圖像送入圖像分類網絡生成選定特征層的特征圖；

S2、引入敏感性(Sensitivity)以及一致性(Conservation)公理；

如圖1所示最終的類激活映射都是對卷積特征圖的加權求和，的計算公式如下：

式中c為感興趣類別，即待可視化的類別，l為應用CAM的目標層，A^k為網絡第l層第k個通道的特征圖，為特征圖A^k的權重；

權值的確定是關鍵問題，不同的權值定義產生不同的CAM方法，常用的CAM方法有CAM、Grad-CAM、Grad-CAM++等。CAM是類激活映射系列方法的開山鼻祖，但由于無法可視化帶有全連接層的CNN，其應用場景受限。除CAM以外，最為人所知的方法是Grad- CAM，該方法首先計算感興趣類別得分(softmax歸一化之前的值)相對每個特征映射的梯度，然后用每個特征映射的梯度平均值作為對應特征映射的權值。Grad-CAM適用于任意CNN 結構，但缺乏充分的數學邏輯來證明梯度的平均可以代表各個特征映射對分類結果的重要性。

公理是可視化方法應該滿足的不言而喻的特性，滿足這些公理使得可視化的方法更加可靠和理論化。因此，為了更好的可視化和解釋CNN的決策，本發明引入兩個公理：敏感性和一致性。

敏感性的計算公式如下：