[發明專利]一種模型評測方法、終端、系統及存儲介質

有效

• 申請號: 202011204586.5
• 申請日: 2020-11-02
• 公開（公告）號: CN112416754B
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 谷雨明;梅一多;何彬;李慎國;朱曉敏;賀亮
• 申請（專利權）人: 中關村科學城城市大腦股份有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36
• 代理公司: 北京勁創知識產權代理事務所(普通合伙) 11589
• 代理人: 王闖

1.一種模型評測方法，其特征在于，所述模型測評方法包括：

獲取待評測算法模型和待評測數據的查詢關鍵字；

基于語言表達模型BERT技術，結合上下文語境分別在對應的評測數據庫中對所述查詢關鍵字進行查詢；

所述基于BERT技術，結合上下文語境分別在對應的評測數據庫中對所述查詢關鍵字進行查詢包括：

基于MLM模型對所述待評測算法模型查詢關鍵字進行分詞處理，獲取第一特征向量；

基于MLM模型對模型數據倉庫中的模型描述字段進行分詞處理，獲取第二特征向量；

根據所述第一特征向量和第二特征向量的相似度得到所述待評測算法模型的查詢結果；

對得到的查詢結果進行評測，并生成模型評測記錄。

2.根據權利要求1所述的模型評測方法，其特征在于，所述基于BERT技術，通過結合上下文語境分別在對應的評測數據庫中對所述算法模型和評測數據進行查詢包括：

基于遮蔽語言模型MLM模型對所述評測數據的查詢關鍵字進行分詞處理，獲取第三特征向量；

基于MLM模型對評測數據集倉庫中的數據集描述字段進行分詞處理，獲取第四特征向量；

根據所述第三特征向量和第四特征向量的相似度得到所述待評測數據的查詢結果。

3.根據權利要求2所述的模型評測方法，其特征在于，所述根據所述第一特征向量和第二特征向量的相似度得到所述待評測算法模型的查詢結果包括：

根據余弦相似度算法計算所述第一特征向量和第二特征向量的相似度；

將相似度最高的第二特征向量對應的模型作為所述待評測算法模型的查詢結果；

所述根據所述第三特征向量和第四特征向量的相似度得到所述待評測數據的查詢結果包括：

根據余弦相似度算法計算所述第三特征向量和第四特征向量的相似度；

將相似度最高的第四特征向量對應的評測數據集作為所述待評測算法模型的查詢結果，所述評測數據集與所述算法模型的對應關系通過預設規則存儲在所述評測數據庫中。

4.根據權利要求3所述的模型評測方法，其特征在于，所述對得到的查詢結果進行評測之前，包括：

顯示所述查詢結果，接收評測指令。

5.根據權利要求4所述的模型評測方法，其特征在于，所述模型評測記錄至少包括：當前評測時間、創建人、模型名稱、數據集名稱、評測報告內容和報告的下載鏈接。

6.根據權利要求5所述的模型評測方法，其特征在于，生成模型評測記錄之后包括：

當評測結束后，對所述模型評測記錄的評測報告內容和報告的下載鏈接進行更新。

7.一種模型評測終端，其特征在于，所述模型評測終端包括處理器和存儲器；

所述存儲器用于存儲的一個或者多個計算機程序；

所述處理器用于執行所述存儲器中存儲的一個或者多個計算機程序，以實現權利要求1至6中任一項所述的模型評測方法的步驟。

8.一種模型評測系統，其特征在于，所述模型評測系統包括獲取模塊、查詢模塊和評測模塊；

所述獲取模塊用于獲取待評測算法模型和待評測數據的查詢關鍵字；

所述查詢模塊用于基于BERT技術，結合上下文語境分別在對應的評測數據庫中對查詢關鍵字進行查詢；

所述基于BERT技術，結合上下文語境分別在對應的評測數據庫中對所述查詢關鍵字進行查詢包括：

基于MLM模型對所述待評測算法模型查詢關鍵字進行分詞處理，獲取第一特征向量；

基于MLM模型對模型數據倉庫中的模型描述字段進行分詞處理，獲取第二特征向量；

根據所述第一特征向量和第二特征向量的相似度得到所述待評測算法模型的查詢結果；

所述評測模塊用于對得到的查詢結果進行評測，并生成模型評測記錄。

9.一種存儲介質，其特征在于，所述存儲介質包括存儲有一個或者多個計算機程序，所述一個或者多個計算機程序可被一個或者多個處理器執行，以實現如權利要求1至6中任一項所述的模型評測方法的步驟。