[發明專利]人工智能系統的測試方法、裝置、電子設備及介質

在審

• 申請號: 202210104967.9
• 申請日: 2022-01-28
• 公開（公告）號: CN114443483A
• 公開（公告）日: 2022-05-06
• 發明（設計）人: 孫帥;李凡平;石柱國
• 申請（專利權）人: 以薩技術股份有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36;G06N3/04
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 安衛靜

本申請提供了一種人工智能系統的測試方法、裝置、電子設備及介質。該方法在得到至少兩個深度學習模型的模型決策因素后，獲取至少兩個深度學習模型的模型決策因素對應的測試數據和相應的真實輸出結果；針對每個深度學習模型，基于深度學習模型輸入的測試數據，對深度學習模型進行測試，獲取深度學習模型輸出的測試結果和當前模型指標；基于當前模型指標和深度學習模型的歷史模型指標，確定深度學習模型的測試狀態信息；根據深度學習模型輸入的測試數據和輸出的測試結果生成的測試熱力圖和相應的真實輸出結果，確定深度學習模型的預測行為；生成測試報告。該方法可準確定位AI系統中待優化的數據模型，從而實現對AI系統進行優化的準確性。

技術領域

本申請涉及模型測試的技術領域，具體而言，涉及一種人工智能系統的測試方法、裝置、電子設備及介質。

背景技術

隨著科學技術的發展，人工智能(Artificial Intelligence，AI)已經應用到社會的各個領域，如智慧城市、智慧金融、智能家居等。深度學習是人工智能領域重要的方向之一。隨著基于深度學習模型應用程序的日益普及和它本身技術的復雜性，深度學習應用程序的質量問題越來越突出。這主要體現在數據質量、特征工程、模型效果、產品功能等方面。據IBM在2016年對數據成本的研究估算，由于數據質量差，每年的經濟成本就約為3.1萬億美元。由此可見，做好深度學習應用程序的質量保障是其在業務落地應用的重要一環。對于傳統軟件、互聯網產品的測試，其測試方法以及質量保障體系相對成熟。而對于人工智能系統的測試是一個不同的、較新的方向。

AI系統的測試就是在已預知的條件下構造一批已訓練過的數據集和沒有經過數據訓練的數據集，經過數據模型計算，得出落入的樣本數是否在已知的區間范圍內。

在工業上，對于AI系統的測試主要是端到端的黑盒測試，無法觀察系統內部數據模型的運行機制，且AI系統是由深度學習模型層層嵌套組合而成，所以對于某個數據模型的算法性能下降是無法準確定位，導致無法精確的對AI系統進行優化。

發明內容

本申請實施例的目的在于提供一種人工智能系統的測試方法、裝置、電子設備及介質，用以解決了現有技術存在的上述問題，可準確定位AI系統中待優化的數據模型，從而實現對AI系統進行優化的準確性。

第一方面，提供了一種人工智能系統的測試方法，該方法可以包括：

對待測的人工智能系統中的至少兩個深度學習模型進行代碼插樁，得到所述至少兩個深度學習模型的模型決策因素；所述模型決策因素包括執行條件、輸入數據形式和預期決策信息；

獲取所述至少兩個深度學習模型的模型決策因素對應的測試數據和相應的真實輸出結果；

針對每個深度學習模型，基于所述深度學習模型對應的測試數據，對所述深度學習模型進行測試，獲取所述深度學習模型輸出的測試結果和當前模型指標；所述測試結果包括與所述深度學習模型的預期決策信息相同的輸出結果和與所述預期決策信息不同的輸出結果；

基于所述當前模型指標和所述深度學習模型的歷史模型指標，確定所述深度學習模型的測試狀態信息；所述歷史模型指標為所述深度學習模型所處當前版本的前一版本的模型指標；

根據所述深度學習模型輸出的測試結果對應的測試熱力圖和所述測試數據對應的真實輸出結果，確定所述深度學習模型的預測行為；

生成測試報告，所述測試報告包括所述至少兩個深度學習模型的測試狀態信息、測試結果和相應的預測行為。

在一種可實現的方式中，生成測試報告之后，所述方法還包括：

向優化終端發送測試報告，以使所述優化終端根據優化人員的優化指令對相應深度學習模型進行優化。

在一種可實現的方式中，對待測的人工智能系統中的至少兩個深度學習模型進行代碼插樁，得到所述至少兩個深度學習模型的模型決策因素，包括：