[發明專利]人工智能系統的測試方法和裝置

有效

• 申請號: 202010872749.0
• 申請日: 2020-08-26
• 公開（公告）號: CN112000578B
• 公開（公告）日: 2022-12-13
• 發明（設計）人: 宗志遠
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36;G06N20/00
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 李世喆

本說明書實施例提供了一種人工智能系統的測試方法和裝置。根據該實施例的方法，首先，獲取至少一個實際檢測對象，并且，生成至少一個干擾檢測對象；然后，將至少一個干擾檢測對象以及至少一個實際檢測對象分別作為樣本檢測對象，組成包括至少兩個樣本檢測對象的測試樣本集；之后，從測試樣本集中選取至少一個樣本檢測對象，每一次選取的樣本檢測對象可能是實際檢測對象也可能是干擾檢測對象，之后，將選取的對象分別輸入人工智能系統，并監控人工智能系統對輸入的實際檢測對象或者干擾檢測對象的檢測結果，從而得到人工智能系統的測試結果。

技術領域

本說明書一個或多個實施例涉及人工智能技術領域，尤其涉及針對人工智能系統的測試方法和裝置。

背景技術

隨著人工智能(Artificial Intelligence，AI)技術的快速發展，在很多業務實現中，都加入了AI系統來作為業務系統的一部分。比如，在交通站點處需要進行人臉識別，則可以由AI系統來對人臉進行識別處理。

AI系統的可靠性關系到整個業務，因此，需要對AI系統進行測試。目前，對AI系統進行測試都是在將AI系統應用到業務系統之前，即在AI系統上線之前來進行測試的。因此，希望能有改進的方案，能夠在AI系統被應用到業務系統中之后對AI系統的實際運行情況進行測試。

發明內容

本說明書一個或多個實施例描述了一種人工智能系統的測試方法和裝置，能夠在AI系統被應用到業務系統中之后對AI系統的實際運行情況進行測試。

根據第一方面，提供了一種人工智能系統的測試方法，該方法包括：

獲取至少一個實際檢測對象；所述實際檢測對象為：在所述人工智能系統的業務應用場景中采集到的、已經被所述人工智能系統驗證成功的檢測對象；

生成至少一個干擾檢測對象；

將至少一個所述干擾檢測對象以及至少一個所述實際檢測對象分別作為樣本檢測對象，組成包括至少兩個樣本檢測對象的測試樣本集；

從所述測試樣本集中選取至少一個樣本檢測對象；

將選取的至少一個所述樣本檢測對象分別輸入所述人工智能系統；

監控所述人工智能系統對輸入的至少一個樣本檢測對象的處理，以得到所述人工智能系統的測試結果。

在一個實施例中，根據以下方式生成至少一個干擾檢測對象包括：

根據檢測對象的特征，利用模擬生成算法模擬出所述至少一個干擾檢測對象。

在這樣的情況下，當檢測對象包括人臉圖像時；則所述模擬生成算法包括Deepfake模型算法或者GAN模型算法；

當檢測對象包括人的聲音時，則所述模擬生成算法包括GAN模型算法。

在另一個實施例中，通過以下方式生成至少一個干擾檢測對象包括：

獲取至少一個可用檢測對象；所述可用檢測對象為滿足所述人工智能系統的輸入要求的檢測對象；

利用擾動技術，對所述至少一個可用檢測對象進行擾動，以得到所述至少一個干擾檢測對象。

在一個實施例中，根據對所述人工智能系統的測試任務，確定所述測試樣本集中的所述實際檢測對象的個數以及所述干擾檢測對象的個數。

在另一個實施例中，根據人工智能系統在業務應用場景中的干擾統計數據，確定所述測試樣本集中的所述實際檢測對象的個數以及所述干擾檢測對象的個數。

在一個實施例中，所述監控所述人工智能系統對輸入的至少一個樣本檢測對象的處理，以得到所述人工智能系統的測試結果，包括：