[發明專利]一種基于綜合類激活映射的圖像分類可解釋方法

在審

• 申請號: 202210629390.3
• 申請日: 2022-06-02
• 公開（公告）號: CN114913378A
• 公開（公告）日: 2022-08-16
• 發明（設計）人: 黃金杰;姬遠方
• 申請（專利權）人: 哈爾濱理工大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/30;G06V10/82
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于綜合類激活映射的圖像分類可解釋性方法，其特征在于，包括以下步驟：

S1、將輸入圖像送入圖像分類網絡生成選定特征層的特征圖；

S2、引入敏感性(Sensitivity)以及一致性(Conservation)公理；

S3、在滿足公理的條件下，使用消融下降(Ablation drop)作為特征圖的初始權重；

S4、初始權重與特征圖進行加權組合和非線性激活函數得到初始掩碼；

S5、初始掩碼通過雙線性插值上采樣到輸入圖像大小，再進行最大最小歸一化處理得到最終掩碼；

S6、對最終掩碼添加高斯噪聲產生N個噪聲樣本圖像；

S7、噪聲樣本圖像與輸入圖像進行哈達瑪積之后送入圖像分類網絡得到N個分數，進行平均和Softmax獲得最終權重；

S8、將最終權重與初始選定的特征圖進行加權組合和非線性激活得到顯著性圖。

2.如權利要求1所述的一種基于綜合類激活映射的圖像分類可解釋性方法，其特征在于，步驟S2中所述的引入敏感性和一致性公理讓權重的求解具備一定的數學邏輯依據，最終的類激活映射都是對卷積特征圖的加權求和，的計算公式如下：

式中c為感興趣類別，即待可視化的類別，l為應用CAM的目標層，A^k為網絡第l層第k個通道的特征圖，為特征圖A^k的權重；

敏感性的計算公式如下：

式中A^l表示網絡的第l層響應，S_c(A^l)為CNN預測的c類得分，為將第K個特征映射置為0后CNN預測到的C類得分，滿足敏感性意味著特征映射的重要性等于移除該特征映射前后的類別得分之差；

一致性的計算公式如下：

一致性要求基于CAM方法所成的結果圖響應總和等于感興趣類別的得分；

某一特征映射置為0后，其得分下降的越明顯，該特征映射的重要性應該越高，敏感性正是基于這種觀點建立的，一致性的引入是為了確保類別得分主要受特征映射支配，而不是由其它一些不可控的因素主導。

3.如權利要求1所述的一種基于綜合類激活映射的圖像分類可解釋性方法，其特征在于，步驟S3中所述的在滿足公理的條件下，使用消融下降作為特征圖的初始權重即滿足敏感性公理，又不會像Grad-CAM存在梯度飽和問題；

式中y^c為輸入類別c的預測值，為預先選中特征層中沒有第k維通道數的預測值。