[發明專利]約束優化類激活映射的深度神經網絡特征可視化方法

有效

• 申請號: 202010332669.6
• 申請日: 2020-04-24
• 公開（公告）號: CN111695590B
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 孔祥維;王鵬達
• 申請（專利權）人: 浙江大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06K9/62;G06V10/40;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

本發明公開了一種約束優化類激活映射的深度神經網絡特征可視化方法。通過訓練或下載獲得一個用于圖像分類的采用深度神經網絡構建的預訓練模型；使用預訓練模型對一幅待測圖像進行前向傳遞獲得特征圖，并進一步處理獲得最終權重向量；通過最終權重向量對特征圖的各分量進行加權求和，獲得可視化特征圖，作為最終可視化結果進行呈現。本發明能夠對任意的深度神經網絡進行特征可視化，可以達到更好的深度特征可解釋性的可視化效果，具有更少的噪聲及更強的類判別性。

技術領域

本發明涉及了一種深度學習可解釋性領域的圖像特征可視化方法，尤其是一種約束優化和類激活映射的深度神經網絡特征可視化方法。

背景技術

深度學習技術已經在一些領域取得了顯著的成果和優越的性能，特別是計算機視覺領域，如圖像分類等任務。然而由于其數學原理沒有被完全探明，其端到端的黑盒特性導致人類無法得知一個深度神經網絡是如何做出決策的。因而關于深度學習可解釋性的研究在近年來逐漸興起，一種最直接的思路便是利用可視化技術獲得對于預測起正向作用的圖像區域，特別是可視化深度神經網絡中間層的特征表示。

深度神經網絡的特征可視化技術有多種分類，如基于反向傳播的方法、基于擾動的方法以及基于類激活映射的方法。本發明與基于類激活映射的可視化方法相關。它們通常利用特征圖的加權求和結果作為最終的可視化結果。CAM是最早提出的類激活映射方法，但它需要調整模型結構，插入一個全局平均池化層并重新訓練，然后權重由模型的分類器部分給出，因此它的局限性較大，無法應用于所有的深度神經網絡上。之后，改進方法Grad-CAM和Grad-CAM++利用預測向量特定類別的預測值對特征圖求梯度來計算權重，因此不需要調整模型結構，比CAM更加泛用。但它們的可視化結果通常噪聲較大，且類判別性較弱，即當一幅圖像中包含多個類別的物體時，指定特定類別的解釋效果區別性較弱。當預訓練模型不包含批歸一化層時，這些問題更加嚴重。另一種類激活映射的方法，Guided FeatureInversion，同樣使用優化權重向量的思想，不同的是使用了兩步的優化，并且受限于其第一步的優化，權重向量最好以常數初始化。但它也存在噪聲較大，且類判別性較弱的問題。

發明內容

為了解決背景中存在的問題，針對目前深度神經網絡特征可視化結果噪聲較大，且類判別性較弱的問題，本發明提供一種基于類激活映射的深度神經網絡特征可視化方法。本發明能夠對任意的深度神經網絡進行特征可視化，可以達到更好的深度特征可解釋性的可視化效果，具有更少的噪聲及更強的類判別性。

如圖1所示，本發明解決其技術問題采用的技術方案如下：

1)通過訓練或下載獲得一個用于圖像分類的采用深度神經網絡構建的預訓練模型；

所述的預訓練模型是由已知數據庫下載獲得，或自行采用數據集預訓練已有的深度神經網絡模型獲得。

2)使用預訓練模型對一幅待測圖像進行前向傳遞獲得特征圖A，并進一步處理獲得最終權重向量；

3)通過最終權重向量對步驟2)獲得的特征圖A的各分量進行加權求和，獲得最終可視化特征圖，作為最終深度神經網絡特征可視化結果進行呈現。

所述步驟2)具體為：

2.1)針對一幅待測圖像X，輸入預訓練模型進行前向傳遞獲得特征圖A，并且預訓練模型處理過程中得到待測圖像的預測向量y，同時能夠獲得每個類別c的預測值，但是針對一幅待測圖像X前向傳遞獲得的預測值后續并無用到；

2.2)針對圖像分類的類別c，初始化一個權重向量ω^c，如下式所示：

ω^c＝ReLU(α^c)