[發明專利]訪問受限的系統的對抗魯棒性的測試

在審

• 申請號: 202010055649.9
• 申請日: 2020-01-17
• 公開（公告）號: CN111476264A
• 公開（公告）日: 2020-07-31
• 發明（設計）人: 陳品諭;劉思佳;吳凌飛;陳家佑
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N20/00
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 酆迅

1.一種用于檢查黑箱系統的學習性能的計算機實現的對抗魯棒性測試方法，所述方法包括：

經由加速器來測試黑箱系統在不同訪問設置下的魯棒性。

2.根據權利要求1所述的方法，其中所述不同訪問設置包括：

軟標簽設置；以及

硬標簽設置。

3.根據權利要求1所述的方法，進一步包括：針對作為所述不同訪問設置中的一個訪問設置的軟標簽設置，使用所述加速器和梯度下降技術來找到對抗示例并且總結魯棒性統計。

4.根據權利要求1所述的方法，進一步包括：針對作為所述不同訪問設置中的一個訪問設置的硬標簽設置，使用平滑函數來總結魯棒性統計。

5.根據權利要求3所述的方法，進一步包括：針對作為所述不同訪問設置中的一個訪問設置的硬標簽設置，使用平滑函數來總結魯棒性統計。

6.根據權利要求1所述的方法，進一步包括：在給定多個合法輸入中的具有正確類別標簽的合法輸入的情況下，通過基于所述合法輸入訓練的深度神經網絡(DNN)模型，使用所述加速器來確定最佳對抗擾動，使得經擾動的示例被錯誤地分類為包括不正確類別標簽的目標類別。

7.根據權利要求1所述的方法，其中所述加速器包括：包括經由隨機方向估計和平均化的有效梯度估計的函數。

8.根據權利要求1所述的方法，其中所述加速器包括：包括輸入的維度減小的函數。

9.根據權利要求1所述的方法，其中所述加速器包括：包括在黑箱損失函數和白箱對抗失真函數之間的問題分解的函數。

10.根據權利要求1所述的方法，體現在云計算環境中。

11.一種用于進行對抗魯棒性測試來檢查黑箱系統的學習性能的計算機程序產品，所述計算機程序產品包括計算機可讀存儲介質，所述計算機可讀存儲介質具有利用其體現的程序指令，所述程序指令由計算機可執行以使得所述計算機執行根據權利要求1至10中任一項所述的方法。

12.一種用于檢查黑箱系統的學習性能的對抗魯棒性測試系統，所述系統包括：

處理器；以及

存儲器，所述存儲器存儲指令，以使得所述處理器執行根據權利要求1至10中任一項所述的方法。

13.一種計算機系統，包括用于執行根據權利要求1至10中任一項所述的方法的步驟的模型。

14.一種用于檢查黑箱系統的學習性能的計算機實現的對抗魯棒性測試方法，所述方法包括：

接收輸入的第一分類作為來自所述黑箱系統的輸出；以及

確定所述輸入的最小變化，使得第二分類被接收作為來自所述黑箱系統的所述輸出。

15.一種用于檢查黑箱系統的學習性能的計算機實現的對抗魯棒性測試方法，所述方法包括：

找到輸入的最小變化，使得來自所述黑箱系統的輸出的分類不同于所述輸入的原始分類。