[發明專利]一種模型評測方法、終端、系統及存儲介質

有效

• 申請號: 202011204586.5
• 申請日: 2020-11-02
• 公開（公告）號: CN112416754B
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 谷雨明;梅一多;何彬;李慎國;朱曉敏;賀亮
• 申請（專利權）人: 中關村科學城城市大腦股份有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36
• 代理公司: 北京勁創知識產權代理事務所(普通合伙) 11589
• 代理人: 王闖

本發明涉及一種模型評測方法、終端、系統及存儲介質，方法包括獲取待評測算法模型和待評測數據的查詢關鍵字；基于BERT技術，結合上下文語境分別在對應的評測數據庫中對查詢關鍵字進行查詢；對得到的查詢結果進行評測，并生成模型評測記錄，基于BERT技術，結合上下文語境，進而可以靈活、高效且可擴展地對模型倉庫的不同模型，以及數據倉庫的不同訓練集數據進行更精確地檢索，以解決現有檢索技術存在的問題，實現更精準地獲得查詢結果，提高評測的工作效率，優化用戶體驗。

技術領域

本發明涉及通信領域，具體涉及一種模型評測方法、終端、系統及存儲介質。

背景技術

城市大腦是人工智能、大數據、區塊鏈、5G、物聯網等新一代信息技術與智慧城市建設結合的產物，基于城市所產生的數據資源，在城市交通治理、公共安全、應急管理、網格防控、醫療衛生、旅游、環境保護、城市精細化管理等應用場景，搭建城市級神經感知網，實現城市的精細化、動態化管理，提升城市管理成效，緩解“大城市病”，改善市民生活質量，將城市信息化推向更高階段。

人工智能計算處理中心平臺是城市大腦的重要組成部分，是支撐“城市大腦”長期高效運行的基礎，是“城市大腦”的基礎算法分析平臺，同時也是“城市大腦”持續演進的核心引擎；城市大腦需要眾多的AI算法作為業務的支撐，對于不同廠商接入的不同模型，需要提供一個統一的AI評測系統，其中還包括模型倉庫和數據倉庫的管理等，以便對各廠商的模型和不同類型算法的評測數據進行有效的管理和調度；在進行AI算法評測時，傳統的模糊查詢技術主要是模糊字符串匹配方法，它依據Levenshtein Distance算法計算兩個序列之間的差異，Levenshtein Distance算法，又叫Edit Distance算法，是指兩個字符串之間，由一個轉成另一個所需的最少編輯操作次數；許可的編輯操作包括將一個字符替換成另一個字符，插入一個字符，刪除一個字符；編輯距離越小，兩個字符串的相似度越大；但若模型的名稱相近或數據集的名稱相似，通過Levenshtein Distance算法最終匹配的效果不佳，易出現檢索錯誤。

發明內容

本發明所要解決的技術問題是針對上述現有技術的不足，提供一種模型評測方法、終端、系統及存儲介質，在評測AI模型時，支持模糊查詢，基于BERT(BidirectionalEncoder Representations from Transformers)技術，結合上下文語境，更精準地獲得查詢結果，提高評測的工作效率，優化用戶體驗。

本發明解決上述技術問題的技術方案如下：一種模型評測方法，包括：

獲取待評測算法模型和待評測數據的查詢關鍵字；

基于BERT技術，結合上下文語境分別在對應的評測數據庫中對所述查詢關鍵字進行查詢；

對得到的查詢結果進行評測，并生成模型評測記錄。

為了解決上述技術問題，本發明實施例還提供一種模型評測終端，包括處理器和存儲器；

所述存儲器用于存儲的一個或者多個計算機程序；

所述處理器用于執行所述存儲器中存儲的一個或者多個計算機程序，以實現如上所述的模型評測方法的步驟。

為解決上述技術問題，本發明實施例還提供一種模型評測系統，包括獲取模塊、查詢模塊和評測模塊；

所述獲取模塊用于獲取待評測算法模型和待評測數據的查詢關鍵字；

所述查詢模塊用于基于BERT技術，結合上下文語境分別在對應的評測數據庫中對查詢關鍵字進行查詢；

所述評測模塊用于對得到的查詢結果進行評測，并生成模型評測記錄。

為解決上述技術問題，本發明實施例還提供一種存儲介質，所述存儲介質存儲有一個或者多個計算機程序，所述一個或者多個計算機程序可被一個或者多個處理器執行，以實現如上所述的模型評測方法的步驟。