[發明專利]模型評估方法、裝置及存儲介質

在審

• 申請號: 202210143982.4
• 申請日: 2022-02-17
• 公開（公告）號: CN114519520A
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 楊戰波;黃澤元;蔣召;祁曉婷
• 申請（專利權）人: 深圳集智數字科技有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06V40/16;G06V10/74;G06F16/2455;G06K9/62;G06N20/00;G06F17/16
• 代理公司: 北京嘉科知識產權代理事務所(特殊普通合伙) 11687
• 代理人: 楊超

本公開提供一種模型評估方法、裝置及存儲介質。該方法包括：獲取預先配置的評估協議，在利用第一評估協議對第一待評估模型進行評估時，獲取第一評估協議的測試集中每組圖像對的特征相似度，將特征相似度與閾值進行比較，根據比較結果計算評估指標結果；在利用第二評估協議或者第三評估協議對第一待評估模型進行評估時，獲取第二評估協議或者第三評估協議的測試集中的探測集和干擾集，分別基于探測集及干擾集中的樣本特征生成查詢矩陣和數據庫矩陣；計算查詢矩陣與數據庫矩陣之間的樣本相似度，基于樣本相似度生成相似度矩陣，根據相似度矩陣計算模型準確率，將模型準確率作為評估指標結果。本公開能夠對模型進行全面評估，提高模型評估的效率。

技術領域

本公開涉及計算機技術領域，尤其涉及一種模型評估方法、裝置及存儲介質。

背景技術

當前機器學習模型在各個領域中得到了越來越廣泛的應用，例如在與人臉識別技術相關的人臉驗證、人臉支付等場景下，人臉識別模型起到至關重要的作用。在將機器學習模型正式應用于實際產品之前，需要對模型的預測性能進行全面的評估。

目前針對機器學習模型的評估方法，一般是根據模型提供特定的數據集和特定的評估指標，通過對評估指標數值的比較來判斷模型的優劣。例如針對分類模型，常見的評估指標有準確率、召回率、預測精度等。但是，現有的針對機器學習模型的評估指標比較單一，無法全方面的對機器學習模型的性能進行準確評估。另外，傳統的模型評估方法對評估數據集的樣本數量要求比較高，因此評估指標數值的計算效率比較低，從而導致模型評估效率降低。

發明內容

有鑒于此，本公開實施例提供了一種模型評估方法、裝置及存儲介質，以解決現有技術存在的模型評估指標單一，無法全面評估模型性能，對評估指標數值的計算效率比較低，降低模型評估效率的問題。

本公開實施例的第一方面，提供了一種模型評估方法，包括：獲取預先配置的評估協議，評估協議包括第一評估協議、第二評估協議和第三評估協議，每種評估協議均對應各自的測試集；利用評估協議中的一種或多種協議的組合，對第一待評估模型執行評估操作，以獲取對第一待評估模型的評估指標結果；在利用第一評估協議對第一待評估模型進行評估時，獲取第一評估協議的測試集中每組圖像對的特征相似度，將特征相似度與閾值進行比較，根據比較結果計算評估指標結果；在利用第二評估協議或者第三評估協議對第一待評估模型進行評估時，獲取第二評估協議或者第三評估協議的測試集中的探測集和干擾集，并分別基于探測集以及干擾集中的樣本特征生成查詢矩陣和數據庫矩陣；計算查詢矩陣與數據庫矩陣之間的樣本相似度，基于樣本相似度生成相似度矩陣，根據相似度矩陣計算模型準確率，將模型準確率作為第一待評估模型的評估指標結果。

本公開實施例的第二方面，提供了一種模型評估裝置，包括：獲取模塊，被配置為獲取預先配置的評估協議，評估協議包括第一評估協議、第二評估協議和第三評估協議，每種評估協議均對應各自的測試集；評估模塊，被配置為利用評估協議中的一種或多種協議的組合，對第一待評估模型執行評估操作，以獲取對第一待評估模型的評估指標結果；比較模塊，被配置為在利用第一評估協議對第一待評估模型進行評估時，獲取第一評估協議的測試集中每組圖像對的特征相似度，將特征相似度與閾值進行比較，根據比較結果計算評估指標結果；生成模塊，被配置為在利用第二評估協議或者第三評估協議對第一待評估模型進行評估時，獲取第二評估協議或者第三評估協議的測試集中的探測集和干擾集，并分別基于探測集以及干擾集中的樣本特征生成查詢矩陣和數據庫矩陣；計算模塊，被配置為計算查詢矩陣與數據庫矩陣之間的樣本相似度，基于樣本相似度生成相似度矩陣，根據相似度矩陣計算模型準確率，將模型準確率作為第一待評估模型的評估指標結果。

本公開實施例的第三方面，提供了一種計算機可讀存儲介質，該計算機可讀存儲介質存儲有計算機程序，該計算機程序被處理器執行時實現上述方法的步驟。

本公開實施例采用的上述至少一個技術方案能夠達到以下有益效果：