[發明專利]一種模型測試方法及服務器

在審

• 申請號: 202010198848.5
• 申請日: 2020-03-19
• 公開（公告）號: CN111476349A
• 公開（公告）日: 2020-07-31
• 發明（設計）人: 許新龍
• 申請（專利權）人: 平安國際智慧城市科技股份有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強;彭程

本申請實施例公開了一種模型測試方法及服務器，該方法包括：接收模型測試請求；其中，所述請求攜帶待測模型的測試信息；根據所述請求調用模型測試服務對所述待測模型進行測試；其中，所述模型測試服務中包括多種深度學習框架；所述多種深度學習框架中不同的框架用于搭建不同的測試模型；所述不同的測試模型用于測試不同的深度學習模型；輸出對所述待測模型的測試結果。采用本申請實施例實現針對性地對不同框架的模型進行測試，減少測試結果的誤差。

技術領域

本發明涉及計算機技術領域，尤其涉及一種模型測試方法及服務器。

背景技術

近幾年人工智能的發展越來越快，人工智能產品及應用也逐步進入到我們的生活中，給我們帶來了效率或者便利。同時，各種人工智能的機器學習算法模型也層出不窮，在訓練好這些模型后需要對這些模型進行測試以判斷模型是否訓練成功。

但是，傳統的模型測試中類似的模型采用相同的測試模型來測試，沒有針對性，容易導致測試結果誤差大的問題。因此，如何解決模型測試中無針對的測試導致的測試結果誤差大的問題本領域技術人員急需解決的技術問題。

發明內容

本申請實施例提供了一種模型測試方法及服務器，能夠實現針對性地對不同框架的模型進行測試，減少測試結果的誤差。

第一方面，本申請實施例提供了一種模型測試方法，該方法包括：

接收模型測試請求；其中，所述請求攜帶待測模型的測試信息，所述測試信息包括模型文件、測試數據集和待測模型的參數；

根據所述模型文件確定所述待測模型的的深度學習框架為第一框架；其中，所述第一框架為模型測試服務中包括的多種深度學習框架中的框架；所述多種深度學習框架中不同的框架用于搭建不同的測試模型；所述不同的測試模型用于測試不同的深度學習模型；

根據所述第一框架、所述模型文件和所述待測模型的參數搭建測試模型；

通過所述測試模型對所述測試數據集進行測試；

輸出對所述待測模型的測試結果。

本申請實施例提供的模型測試服務包括多種深度學習框架，可以用于搭建各種測試模型來測試各種深度學習模型。相比于現有技術，本申請實施例能夠有針對性地實現模型的測試，減少測試結果的誤差。此外，本申請實施例不需要針對不同的模型編寫不同的測試代碼，從而提高了模型測試的效率。

結合第一方面，在第一方面的第一種可能的實施方式中，所述測試信息還包括閾值；所述通過所述測試模型對所述測試數據集進行測試，包括：

將所述測試模型對所述測試數據集中每一個測試數據計算得到的測試值與所述閾值比較；

根據所述比較結果確定所述每一個測試數據的測試標簽，所述測試標簽為所述測試數據最終的預測結果。

結合第一方面的第一種可能的實施方式，在第一方面的第二種可能的實施方式中，所述根據所述比較結果確定所述每一個測試數據的測試標簽之后，還包括：

將所述每一個測試數據的測試標簽與預設標簽比較后，計算得到所述測試結果；其中，所述測試結果包括正確率、召回率以及預測錯誤的數據中的一項或多項。

在本申請實施例中，可以通過服務器直接根據測試標簽與預設標簽的比較結果計算出各項測試結果，無需人工計算，從而提高了計算效率，節省人力成本。

結合第一方面的第一種可能的實施方式或第二種可能的實施方式，在第一方面的第三種可能的實施方式中，所述模型測試服務在容器引擎中運行以實現模型的測試。

在本申請實施例中，通過用容器引擎來運行模型測試服務，保證了模型測試服務不受環境的影響，能夠正常實現對模型的測試。