[發明專利]人工智能系統的測試方法和裝置

有效

• 申請號: 202010872749.0
• 申請日: 2020-08-26
• 公開（公告）號: CN112000578B
• 公開（公告）日: 2022-12-13
• 發明（設計）人: 宗志遠
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36;G06N20/00
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 李世喆

1.人工智能系統的測試方法，包括：

在所述人工智能系統已被應用于一個業務應用場景之后，獲取至少一個實際檢測對象；所述實際檢測對象為：在所述人工智能系統被應用的所述業務應用場景中采集到的、已經被所述人工智能系統驗證成功的檢測對象；

生成至少一個干擾檢測對象；

將至少一個所述干擾檢測對象以及至少一個所述實際檢測對象分別作為樣本檢測對象，組成包括至少兩個樣本檢測對象的測試樣本集；

從所述測試樣本集中選取至少一個樣本檢測對象；

將選取的至少一個所述樣本檢測對象分別輸入所述人工智能系統；

監控所述人工智能系統對輸入的至少一個所述樣本檢測對象的處理，以得到所述人工智能系統的測試結果；

其中，當輸入所述人工智能系統的所述樣本檢測對象為干擾檢測對象，且該干擾檢測對象為利用擾動技術對可用檢測對象進行擾動而生成時；該方法進一步包括：在利用擾動技術對可用檢測對象進行擾動來生成所述干擾檢測對象時，計算該干擾檢測對象對應的擾動幅度值；

相應地，所述監控所述人工智能系統對輸入的至少一個樣本檢測對象的處理以得到所述人工智能系統的測試結果，包括：針對分別輸入所述人工智能系統的每一個樣本檢測對象，如果當前輸入的所述樣本檢測對象為干擾檢測對象時，監控所述人工智能系統的智能算法是否輸出驗證成功的結果，如果是，繼續判斷當前輸入的干擾檢測對象對應的擾動幅度值是否大于預先設置的擾動閾值；如果大于，則確定所述人工智能系統的所述智能算法當前出現異常，如果不大于，則確定所述人工智能系統的所述智能算法當前未出現異常；

所述檢測對象包括圖像；

所述計算該干擾檢測對象對應的擾動幅度值包括以下中的至少一項：

計算加入到可用檢測對象中的擾動像素的數量與該可用檢測對象的像素的數量的比值，以得到所述干擾檢測對象對應的擾動幅度值；

利用可用檢測對象和根據該可用檢測對象所生成的干擾檢測對象，計算L2范數值，以得到所述干擾檢測對象對應的擾動幅度值。

2.根據權利要求1所述的方法，其中，所述生成至少一個干擾檢測對象包括：

根據檢測對象的特征，利用模擬生成算法模擬出所述至少一個干擾檢測對象。

3.根據權利要求2所述的方法，其中，

所述檢測對象包括人臉圖像；則所述模擬生成算法包括：Deepfake模型算法或者GAN模型算法；

或者，

所述檢測對象包括人的聲音；則所述模擬生成算法包括：GAN模型算法。

4.根據權利要求1所述的方法，其中，所述生成至少一個干擾檢測對象包括：

獲取至少一個可用檢測對象；所述可用檢測對象為滿足所述人工智能系統的輸入要求的檢測對象；

利用擾動技術，對所述至少一個可用檢測對象進行擾動，以得到所述至少一個干擾檢測對象。

5.根據權利要求1所述的方法，其中，

根據對所述人工智能系統的測試任務，確定所述測試樣本集中的所述實際檢測對象的個數以及所述干擾檢測對象的個數；

或者，

根據所述人工智能系統在業務應用場景中的干擾統計數據，確定所述測試樣本集中的所述實際檢測對象的個數以及所述干擾檢測對象的個數。

6.根據權利要求1至5中任一所述的方法，其中，所述監控所述人工智能系統對輸入的至少一個樣本檢測對象的處理，以得到所述人工智能系統的測試結果，包括：

針對分別輸入所述人工智能系統的每一個樣本檢測對象，監控所述人工智能系統的智能算法是否調用了當前輸入的樣本檢測對象，如果否，則確定所述人工智能系統的所述智能算法當前出現異常；

或者，

針對分別輸入所述人工智能系統的每一個樣本檢測對象，如果當前輸入的所述樣本檢測對象為實際檢測對象時，監控所述人工智能系統的所述智能算法是否輸出驗證錯誤的結果，如果是，則確定所述人工智能系統的所述智能算法當前出現異常。