[發明專利]人工智能模型測試方法、裝置、電子設備和存儲介質

在審

• 申請號: 202110706116.7
• 申請日: 2021-06-24
• 公開（公告）號: CN115525530A
• 公開（公告）日: 2022-12-27
• 發明（設計）人: 呂芳芳;顧肖依;王均
• 申請（專利權）人: 中移(蘇州)軟件技術有限公司;中國移動通信集團有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 李娟;張穎玲

1.一種人工智能模型測試方法，其特征在于，包括：

根據待測試人工智能模型的應用場景，確定所述待測試人工智能模型的目標測試指標；

根據所述目標測試指標，確定所述待測試人工智能模型的目標測試腳本；

利用所述目標測試腳本對所述待測試人工智能模型進行測試；

根據測試結果，確定所述待測試人工智能模型的結果數據中的異常數據。

2.根據權利要求1所述的方法，其特征在于，所述待測試人工智能模型包括多個人工智能模型；所述目標測試指標包括至少一個測試指標；

所述根據所述目標測試指標，確定所述待測試人工智能模型的目標測試腳本，包括：

在所述多個人工智能模型中任意兩個人工智能模型屬于同一個應用場景時，根據所述同一個應用場景對應的目標測試指標，確定所述任意兩個人工智能模型共用的所述一個目標測試腳本。

3.根據權利要求1所述的方法，其特征在于，所述待測試人工智能模型包括多個人工智能模型；所述目標測試指標包括至少一個測試指標；

所述根據所述目標測試指標，確定所述待測試人工智能模型的目標測試腳本，包括：

在所述多個人工智能模型中任意兩個人工智能模型屬于不同的應用場景時，根據任一應用場景對應的目標測試指標，確定所述任意兩個人工智能模型各自的目標測試腳本。

4.根據權利要求1所述的方法，其特征在于，所述待測試人工智能模型為一個人工智能模型；所述目標測試指標包括多個測試指標；

所述根據所述目標測試指標，確定所述待測試人工智能模型的目標測試腳本，包括：

根據所述目標測試指標、以及所述目標測試指標中每一個測試指標與測試腳本的對應關系，確定所述待測試人工智能模型的目標測試腳本。

5.根據權利要求1所述的方法，其特征在于，所述根據所述目標測試指標，確定所述待測試人工智能模型的目標測試腳本，包括：

預先存儲所述目標測試指標中每一個測試指標與測試腳本模板的對應關系；

根據所述目標測試指標、以及所述對應關系，確定所述待測試人工智能模型的目標測試腳本模板；

根據所述目標測試腳本模板、以及預先確定的測試腳本模板和測試腳本的對應關系，確定所述待測試人工智能模型的目標測試腳本。

6.根據權利要求1所述的方法，其特征在于，所述根據待測試人工智能模型的應用場景，確定所述待測試人工智能模型的目標測試指標，包括：

對所述待測試人工智能模型的標識信息進行語義分析，得到語義分析結果；

根據所述語義分析結果，確定所述待測試人工智能模型的應用場景；

根據所述應用場景、以及應用場景和測試指標的對應關系，確定所述目標測試指標。

7.根據權利要求1-6中任一項所述的方法，其特征在于，所述方法還包括：

根據對所述異常數據的原因分析結果，對所述待測試人工智能模型進行優化。

8.一種人工智能測試裝置，其特征在于，包括：

確定模塊，用于根據待測試人工智能模型的應用場景，確定待測試人工智能模型的目標測試指標；根據所述目標測試指標，確定所述待測試人工智能模型的目標測試腳本；

測試模塊，用于利用所述測試腳本對所述待測試人工智能模型進行測試；

處理模塊，根據對所述待測試人工智能模型的測試結果，確定所述待測試人工智能模型的結果數據中的異常數據。

9.一種電子設備，其特征在于，所述電子設備包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現權利要求1至7中任一項所述的人工智能模型測試方法。

10.一種計算機存儲介質，所述存儲介質存儲有計算機程序；其特征在于，所述計算機程序被執行后能夠實現權利要求1至7中任一項所述的人工智能模型測試方法。