[發明專利]為分類模型確定擾動掩模

在審

• 申請號: 202010411809.9
• 申請日: 2020-05-15
• 公開（公告）號: CN111950582A
• 公開（公告）日: 2020-11-17
• 發明（設計）人: A.M.蒙諾茲德爾加多
• 申請（專利權）人: 羅伯特·博世有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/02;G06N3/08
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 張凌苗;閆小龍

1.一種用于為對于分類模型的輸入實例來確定掩模的系統（100），所述掩模對干擾通過分類模型而對輸入實例的分類的擾動進行指示，所述干擾使分類改變或使得分類不太確定，所述系統包括：

- 輸入接口（120），其用于訪問分類模型（040）和生成型模型（060），其中所述分類模型被配置用于確定輸入實例的分類，所述輸入實例具有一類型，并且其中所述生成型模型被配置用于根據隱空間表示來生成所述類型的合成實例，

- 處理器子系統（140），其被配置成：

- 獲得針對分類模型的輸入實例、根據分類模型而對輸入實例的分類以及針對輸入實例的隱空間表示，其中所述隱空間表示當被用作對于生成型模型的輸入的時候，使得生成型模型生成近似輸入實例的合成實例；

- 確定掩模，所述掩模對干擾通過分類模型而對輸入實例的分類的擾動進行指示，其中所述掩模指示對于針對輸入實例的隱空間表示的擾動，并且其中基于針對受擾動的輸入實例的分類模型的分類評分來確定所述掩模，所述受擾動的實例使用掩模通過如下來被確定：

- 利用掩模來掩蔽隱空間表示；以及

- 使用所述生成型模型、根據受掩蔽的隱空間表示來生成受擾動的輸入實例。

2.根據權利要求1所述的系統（100），其中所述處理器子系統（140）被配置成通過至少最小化在分類評分與分類閾值之間的差異來確定掩模。

3.根據權利要求1或2所述的系統（100），其中所述處理器子系統（140）被配置成通過至少最大化分類評分關于掩模的梯度來確定掩模。

4.根據前述權利要求中任一項所述的系統（100），其中所述處理器子系統（140）被配置成通過至少最小化鑒別器評分來確定掩模，所述鑒別器評分對在受擾動的輸入實例與用于訓練生成型模型的訓練數據集之間的相異度進行量化。

5.根據前述權利要求中任一項所述的系統（100），其中所述處理器子系統（140）被配置成通過至少最小化掩模的范數來確定掩模。

6.根據前述權利要求中任一項所述的系統（100），其中所述生成型模型包括生成型對抗性網絡的生成型部分或自動編碼器的解碼器部分。

7.根據前述權利要求中任一項所述的系統（100），其中所述分類模型是圖像分類器，并且其中所述處理器子系統（140）被配置成獲得輸入圖像作為輸入實例，并且確定受擾動的輸入圖像作為受擾動的輸入實例。

8.根據前述權利要求中任一項所述的系統（100），此外包括輸出接口（160），其用于以感覺上可感知的方式向用戶輸出所確定的掩模和/或受擾動的輸入實例。

9.根據前述權利要求中任一項所述的系統（100），其中所述處理器子系統（140）被配置成確定針對輸入實例的隱空間表示的多個掩模，并且基于所述多個掩模來確定一穩定性值，所述穩定性值指示通過分類模型對輸入實例的分類的穩定性。

10.根據權利要求9所述的系統（100），其中所述處理器子系統（140）被配置成通過如下來確定所述多個掩模中的掩模：隨機生成針對掩模的初始值，并且基于所述初始值來迭代地更新掩模。

11.根據權利要求9或10所述的系統（100），其中所述處理器子系統（140）被配置成通過如下來確定所述穩定性值：計算所述多個掩模中的掩模的范數，并且根據所述范數來計算所述穩定性值。

12.根據前述權利要求中任一項所述的系統（100），其中所述處理器子系統（140）此外被配置成獲得受擾動的輸入實例的分類，以及至少使用受擾動的輸入實例和分類來重新訓練分類模型。