[發明專利]模型驗證方法、裝置及計算機設備

有效

• 申請號: 202011463493.4
• 申請日: 2020-12-11
• 公開（公告）號: CN112560939B
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 鄭志升;張楊;劉方奇
• 申請（專利權）人: 上海嗶哩嗶哩科技有限公司
• 主分類號: G06F18/214
• 分類號: G06F18/214
• 代理公司: 北京英特普羅知識產權代理有限公司 11015
• 代理人: 鄧小玲;王勇

本申請公開了一種模型驗證方法、裝置及計算機設備，該方法包括：獲取目標模型基于基線數據執行模型訓練的訓練過程數據；從所述訓練過程數據中拆分出數據輸入過程和計算過程；接收關于所述目標模型的模型驗證任務；調度所述數據輸入過程和所述計算過程協同執行所述模型驗證任務，以得到對應的第一驗證結果和第二驗證結果；將所述第一驗證結果和所述第二驗證結果聚合得到模型驗證結果。本申請還提供一種計算機可讀存儲介質。本申請能夠提高模型驗證過程的靈活性，也提升模型驗證效率。

技術領域

本申請涉及數據處理技術領域，尤其涉及一種模型驗證方法、裝置及計算機設備。

背景技術

隨著互聯網技術的發展，越來越多的用戶選擇在網上瀏覽、挑選或者購買自己需要的商品。隨著商品數目和種類的增多，用戶往往需要花費大量的時間才能找到自己需要的商品。為了解決這個問題，各個電商平臺都不同程度地采用各種形式的推薦技術向用戶進行商品推薦。其中，為了達到向用戶及時推薦各種有用信息又盡量避免推薦無用信息的目的，通常會先根據用戶信息構建出用戶的用戶特征數據；然后再將用戶的用戶特征數據輸入到初始點擊率預估模型，從而訓練出能夠預估出不同的用戶對于推薦數據的點擊概率的點擊率預估模型。

一般而言，對于點擊率預估模型等模型來說，模型訓練出來之后則需要進行模型驗證，現有的模型驗證方法，通常是將不同的測試數據依次輸入到待驗證的模型中去，然后依次記錄每一次模型驗證的驗證結果。然而，這種模型驗證方式，缺乏靈活性，而且效率低下。

發明內容

本申請提出一種模型驗證方法、裝置及計算機設備，能夠解決上述的模型驗證方式的靈活性差、效率低的問題。

首先，為實現上述目的，本申請提供一種模型驗證方法，所述方法包括：

獲取目標模型基于基線數據執行模型訓練的訓練過程數據；從所述訓練過程數據中拆分出數據輸入過程和計算過程；接收關于所述目標模型的模型驗證任務；調度所述數據輸入過程和所述計算過程協同執行所述模型驗證任務，以得到對應的第一驗證結果和第二驗證結果；將所述第一驗證結果和所述第二驗證結果聚合得到模型驗證結果。

在一個例子中，所述從所述訓練過程數據中拆分出數據輸入過程和計算過程包括：根據數據流作業的起始和結束的字段標識從所述訓練過程數據中查找并拆分出所述數據輸入過程；以及根據計算函數的函數體結構從所述訓練過程數據中查找并拆分出所述計算過程。

在一個例子中，所述從所述訓練過程數據中拆分出數據輸入過程和計算過程還包括：在所述訓練過程數據中查詢出所述數據輸入過程和所述計算過程的時序關系和/或依賴關系；以及獲取所述數據輸入過程對應的初始輸入數據和所述計算過程對應的初始計算邏輯。

在一個例子中，所述調度所述數據輸入過程和所述計算過程協同執行所述模型驗證任務包括：獲取所述模型驗證任務中所述數據輸入過程對應的修正輸入數據以及所述計算過程對應的修正計算邏輯；將所述修正輸入數據替代所述初始輸入數據，將所述修正計算邏輯替代所述初始計算邏輯，并根據所述時序關系和/或依賴關系執行所述數據輸入過程和所述計算過程。

在一個例子中，所述根據所述時序關系執行所述數據輸入過程和所述計算過程包括：獲取所述數據輸入過程的時間水印以及所述計算過程的時間水印；按照時間水印的先后順序依次觸發執行所述數據輸入過程和所述計算過程。

在一個例子中，所述根據所述依賴關系執行所述數據輸入過程和所述計算過程包括：獲取所述依賴關系中的觸發事項；在執行所述數據輸入過程/所述計算過程的過程中，若檢測到所述觸發事項則開始執行所述計算過程/所述數據輸入過程。

在一個例子中，所述數據輸入過程包括實時訓練數據的輸入過程和/或離線訓練數據的輸入過程。

此外，為實現上述目的，本申請還提供一種模型驗證裝置，所述裝置包括：