[發(fā)明專利]模型評測方法、裝置、設備及計算機可讀介質(zhì)有效
| 申請?zhí)枺?/td> | 201811096522.0 | 申請日： | 2018-09-19 |
| 公開（公告）號： | CN110928537B | 公開（公告）日： | 2023-08-11 |
| 發(fā)明（設計）人： | 李德禹;于曉寧;范小剛;李冬博 | 申請（專利權(quán)）人： | 百度在線網(wǎng)絡技術(shù)（北京）有限公司 |
| 主分類號： | G06F8/35 | 分類號： | G06F8/35 |
| 代理公司： | 北京英賽嘉華知識產(chǎn)權(quán)代理有限責任公司 11204 | 代理人： | 王達佐;馬曉亞 |
| 地址： | 100085 北京市*** | 國省代碼： | 北京;11 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 模型 評測 方法 裝置 設備 計算機 可讀 介質(zhì) | ||
本發(fā)明提出一種模型評測方法、裝置、設備及計算機可讀介質(zhì)，所述模型評測方法包括：確定用于構(gòu)建模型的開發(fā)模板，所述開發(fā)模板包括多個檢查點；獲取待測模型在各所述檢查點對應的構(gòu)建過程內(nèi)容；基于各所述檢查點對應的構(gòu)建過程內(nèi)容，判斷所述待測模型是否存在作弊。本發(fā)明的技術(shù)方案可以降低作弊概率，提高模型評測的公平性和有效性。
技術(shù)領(lǐng)域
本發(fā)明涉及信息技術(shù)領(lǐng)域，尤其涉及一種模型評測方法、裝置、設備及計算機可讀介質(zhì)。
背景技術(shù)
本部分旨在為權(quán)利要求書中陳述的本發(fā)明的實施例提供背景或上下文。此處的描述不因為包括在本部分中就承認是現(xiàn)有技術(shù)。
隨著大數(shù)據(jù)和人工智能(AI，Artificial?Intelligence)的發(fā)展，越來越多的企業(yè)需要第三方針對企業(yè)的數(shù)據(jù)及應用場景進行建模。為了取得更好的模型效果，通過模型設計比賽選取出好模型的方式越來越被大家所選擇。在對競賽者設計的模型的評測過程中，由于各模型的環(huán)境和語言各不相同，評測方會將測試集公開，由競賽者將測試集輸入設計的模型，并將模型的輸出結(jié)果發(fā)送給評測方，再由評測方基于輸出結(jié)果進行模型效果的打分。測試集的公開就會引起作弊的可能，比如有的競賽團隊采用人工標注、刷榜等行為進行作弊，造成不公平。
為了避免作弊，現(xiàn)有技術(shù)主要通過邀請專業(yè)專家現(xiàn)場答辯的方式，分析解題思路、檢查解題代碼，排除作弊的團隊。這需要策劃布置答辯現(xiàn)場、組織答辯人員、邀請專家等一系列的線下準備工作和花費預算，時效性低，且成本高。
發(fā)明內(nèi)容
本發(fā)明實施例提供一種模型評測方法、裝置、設備及計算機可讀介質(zhì)，以至少解決現(xiàn)有技術(shù)中的一個或多個技術(shù)問題。
第一方面，本發(fā)明實施例提供了一種模型評測方法，包括：
確定用于構(gòu)建模型的開發(fā)模板，所述開發(fā)模板包括多個檢查點；
獲取待測模型在各所述檢查點對應的構(gòu)建過程內(nèi)容；
基于各所述檢查點對應的構(gòu)建過程內(nèi)容，判斷所述待測模型是否存在作弊。
結(jié)合第一方面，本發(fā)明實施例在第一方面的第一種實施方式中，所述模型評測方法還包括：
設定開發(fā)模板包括的多個構(gòu)建步驟子模板；
在每個構(gòu)建步驟子模板中設置至少一個檢查點。
結(jié)合第一方面，本發(fā)明實施例在第一方面的第二種實施方式中，基于各所述檢查點對應的構(gòu)建過程內(nèi)容，判斷所述待測模型是否存在作弊，包括：
判斷當前檢查點對應的構(gòu)建過程內(nèi)容是否存在作弊；
如果當前檢查點對應的構(gòu)建過程內(nèi)容存在作弊，則判定所述待測模型存在作弊。
結(jié)合第一方面的第二種實施方式，本發(fā)明實施例在第一方面的第三種實施方式中，基于各所述檢查點對應的構(gòu)建過程內(nèi)容，判斷所述待測模型是否存在作弊，還包括：
如果當前檢查點對應的構(gòu)建過程內(nèi)容沒有存在作弊，則基于下一檢查點對應的構(gòu)建過程內(nèi)容判斷所述待測模型是否存在作弊。
結(jié)合第一方面或第一方面的第一種實施方式或第一方面的第二種實施方式或第一方面的第三種實施方式，本發(fā)明實施例在第一方面的第四種實施方式中，所述模型評測方法還包括：
獲取所述待測模型的服務接口；
基于所述服務接口向所述待測模型輸入測試集；
根據(jù)所述待測模型的輸出結(jié)果評測所述待測模型。
第二方面，本發(fā)明實施例提供了一種模型評測裝置，包括：
確定模塊，用于確定用于構(gòu)建模型的開發(fā)模板，所述開發(fā)模板包括多個檢查點；
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于百度在線網(wǎng)絡技術(shù)（北京）有限公司，未經(jīng)百度在線網(wǎng)絡技術(shù)（北京）有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201811096522.0/2.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
