[發明專利]用于確定解釋圖的方法和設備

在審

• 申請號: 201980051444.9
• 申請日: 2019-07-03
• 公開（公告）號: CN112513878A
• 公開（公告）日: 2021-03-16
• 發明（設計）人: J·瓦格納;J·M·科勒;T·金代萊;L·埃策爾;J·T·威德默
• 申請（專利權）人: 羅伯特·博世有限公司
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 張濤;劉春元

1.一種用于確定圖像（x）的解釋圖（）的方法，在所述解釋圖中所述圖像（x）的所有對于用深度神經網絡（f）確定的所述圖像（x）的分類起決定性作用的像素都被改變，其中將所述解釋圖（）選擇為，使得所述圖像（x）的盡可能小的像素子集被改變，然后如果將所述解釋圖（）輸送到所述深度神經網絡（f）以用于分類，則所述解釋圖（）盡可能不導致與所述圖像（x）相同的分類結果（），其中將所述解釋圖（）選擇為，使得在所述深度神經網絡（f）的特征圖（h_l）中通過所述解釋圖（）引起的激活（）然后基本上不超過通過所述圖像（x）引起的激活（）。

2.根據權利要求1所述的方法，其中，將所述解釋圖（）選擇為，使得成本函數（L）得以優化，其中所述成本函數（L）具有第一分量（L_h）和/或第二分量（L_w），所述第一分量表征所述解釋圖（）與所述圖像（x）有多類似，所述第二分量表征針對所述解釋圖（）得到的分類結果（）與針對所述圖像（x）得到的分類結果（）相對應的概率（p）有多大。

3.根據權利要求2所述的方法，其中，所述第二分量（L_w）逐區域地、特別是逐像素地通過表征各自像素對針對所述解釋圖（）得到的分類結果有多大貢獻的函數來完成。

4.根據權利要求2至3中任一項所述的方法，其中，通過所述成本函數（L）中的第三分量（L_c）來實現輔助條件，即對于深度神經網絡中的至少一層l通過所述解釋圖（s_x）的激活（）基本上不超過通過所述圖像（x）的激活（），所述第三分量懲罰這樣的超過。

5.根據權利要求1至3中任一項所述的方法，其中，通過所述解釋圖（）的激活（）不超過通過所述圖像（x）的激活（）的輔助條件通過以下方式得以實現：在確定所述解釋圖（）時將所述特征圖（h_l）中的激活（）設置為可預給定值，特別是設置為根據所述輔助條件的最大允許值（）。

6.根據權利要求1至3中任一項所述的方法，其中，通過所述解釋圖（）的激活（）不超過通過所述圖像（x）的激活（）的輔助條件通過以下方式得以實現：使用基于梯度的優化方法，并且如果在所述深度神經網絡的層l中通過所述解釋圖（）的激活超過通過所述圖像（x）的激活（），則將該層的特征圖（）反向傳播（英語：back propagation）的梯度（）設置為等于可預給定的梯度，特別是等于零。

7.一種用于顯示圖像的方法，其中，使用根據權利要求1至6中任一項所述的方法確定并顯示解釋圖（）。

8.根據權利要求7所述的方法，其中，也顯示所述圖像（x），特別是顯示在所述解釋圖（）旁邊。

9.一種計算機程序，其被設置為執行根據權利要求1至8中任一項所述的方法。

10.一種或多種器可讀存儲介質（45），其上存儲有根據權利要求9所述的計算機程序。

11.一種機器分類系統（40），其被設置為執行根據權利要求1至6中任一項所述的方法。

12.一種顯示系統（13），其被設置為執行根據權利要求7或8中任一項所述的方法。