[發明專利]類激活圖生成方法、神經網絡可解釋方法及相關裝置

在審

• 申請號: 202111468069.3
• 申請日: 2021-12-03
• 公開（公告）號: CN114359588A
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 李巖山;梁華杰
• 申請（專利權）人: 深圳大學
• 主分類號: G06V10/74
• 分類號: G06V10/74;G06K9/62;G06V10/40;G06N3/04;G06N3/08;G06V10/764
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 洪銘福

本發明公開了一種類激活圖生成方法、神經網絡可解釋方法及相關裝置，應用于圖像處理領域，類激活圖生成方法包括：獲取原始圖像；將原始圖像通過神經網絡的卷積層進行處理，得到第一特征圖集，其中，所述第一特征圖集為多個特征圖的集合；將第一特征圖集重新進行排序，得到第二特征圖集；計算第二特征圖集對應的殘差區域集和殘差分數集；將殘差區域集和殘差分數集通過激活函數激活，得到類激活圖。通過對特征圖進行權重分配，使得殘差區域集對應的殘差分數集降低，即殘差區域的權重降低，同時使得殘差區域對應的主區域的權重提高，從而有效提升了類激活圖對于神經網絡的可解釋效果。

技術領域

本發明涉及圖像處理領域，特別涉及一種類激活圖生成方法、神經網絡可解釋方法及相關裝置。

背景技術

神經網絡在許多領域都取得了巨大成功，但由于其端到端的“黑盒”特性，掩蓋了中間層知識處理和存儲機制，使得研究人員只能從宏觀的角度來理解和優化神經網絡，比如凸優化和感受野，在一定程度上影響了其應用價值。作為最有效的解釋技術方式，各種神經網絡可解釋方法從不同的角度解釋神經網絡提取的信息和特征。類激活圖的應用是卷積神經網絡和圖卷積神經網絡的一種解釋方法，但是，相關技術中，特征圖的重疊區域與非重疊區域之間的權重相差不大，從而使得生成的類激活圖對于神經網絡的可解釋效果降低。

發明內容

以下是對本文詳細描述的主題的概述。本概述并非是為了限制權利要求的保護范圍。

本申請實施例提供了一種類激活圖生成方法、神經網絡可解釋方法及相關裝置，對特征圖進行權重分配，提高類激活圖對于神經網絡的可解釋效果。

第一方面，本發明提供一種類激活圖生成方法，包括：

獲取原始圖像；

將所述原始圖像通過神經網絡的卷積層進行處理，得到第一特征圖集，其中，所述第一特征圖集為多個特征圖的集合；

根據所述第一特征圖集中所述特征圖對于預測類別的重要性，對所述第一特征圖集進行重新排序，得到第二特征圖集，其中，所述預測類別為預定的類別；

計算所述第二特征圖集對應的殘差區域集和殘差分數集；

將所述殘差區域集和所述殘差分數集通過激活函數激活，得到類激活圖。

根據本發明第一方面實施例的類激活圖生成方法，至少具有如下有益效果：本申請實施例通過對第一特征圖集進行排序，得到第二特征圖集，并計算第二特征圖集對應的殘差區域集和殘差分數集，將殘差區域集和殘差分數集激活得到類激活圖。本申請實施例生成的第二特征圖集是根據特征圖對預測類別的重要性而進行排序的，便于生成神經網絡的殘差區域集，從而使得殘差區域集對應的殘差分數集降低，即殘差區域的權重降低，殘差區域對應的主區域的權重提高，與現有的神經網絡可解釋方法相比，本申請技術實施例有效提升了類激活圖對于神經網絡的可解釋效果。

根據本發明第一方面的一些實施例，所述根據所述第一特征圖集中所述特征圖對于預測類別的重要性，對所述第一特征圖集進行重新排序，得到第二特征圖集，包括：

將所述第一特征圖集進行反轉，得到第三特征圖集；

根據所述第一特征圖集、所述第三特征圖集和所述預測類別，得到第一目標殘差得分集，其中，所述第一目標殘差得分集包括多個目標殘差得分，且所述目標殘差得分的數量與所述第一特征圖集中的特征圖的數量相等；

將所述第一目標殘差得分集中的目標殘差得分進行降序排序，得到第二目標殘差得分集；

根據所述第二目標殘差得分集中所述目標殘差的序列對所述第一特征圖集中的特征圖排序，得到第二特征圖集。

根據本發明第一方面的一些實施例，所述根據所述第一特征圖集、所述第三特征圖集和預測類別，得到第一目標殘差得分集，包括：