[發明專利]模型驗證方法、裝置及計算機設備

有效

• 申請號: 202011463493.4
• 申請日: 2020-12-11
• 公開（公告）號: CN112560939B
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 鄭志升;張楊;劉方奇
• 申請（專利權）人: 上海嗶哩嗶哩科技有限公司
• 主分類號: G06F18/214
• 分類號: G06F18/214
• 代理公司: 北京英特普羅知識產權代理有限公司 11015
• 代理人: 鄧小玲;王勇

1.一種模型驗證方法，其特征在于，所述方法包括：

獲取目標模型基于基線數據執行模型訓練的訓練過程數據；

從所述訓練過程數據中拆分出數據輸入過程和計算過程，所述數據輸入過程包括輸入數據以及所述輸入數據在模型訓練過程中的流信息，所述計算過程包括計算邏輯以及所述計算邏輯對于目標數據的計算過程；

接收關于所述目標模型的模型驗證任務；

調度所述數據輸入過程和所述計算過程至不同的驗證終端協同執行所述模型驗證任務，以得到對應的第一驗證結果和第二驗證結果；

將所述第一驗證結果和所述第二驗證結果聚合得到模型驗證結果。

2.如權利要求1所述的模型驗證方法，其特征在于，所述從所述訓練過程數據中拆分出數據輸入過程和計算過程包括：

根據數據流作業的起始和結束的字段標識從所述訓練過程數據中查找并拆分出所述數據輸入過程；以及

根據計算函數的函數體結構從所述訓練過程數據中查找并拆分出所述計算過程。

3.如權利要求1所述的模型驗證方法，其特征在于，所述從所述訓練過程數據中拆分出數據輸入過程和計算過程還包括：

在所述訓練過程數據中查詢出所述數據輸入過程和所述計算過程的時序關系和/或依賴關系；以及

獲取所述數據輸入過程對應的初始輸入數據和所述計算過程對應的初始計算邏輯。

4.如權利要求3所述的模型驗證方法，其特征在于，所述調度所述數據輸入過程和所述計算過程協同執行所述模型驗證任務包括：

獲取所述模型驗證任務中所述數據輸入過程對應的修正輸入數據以及所述計算過程對應的修正計算邏輯；

將所述修正輸入數據替代所述初始輸入數據，將所述修正計算邏輯替代所述初始計算邏輯，并根據所述時序關系和/或依賴關系執行所述數據輸入過程和所述計算過程。

5.如權利要求4中所述的模型驗證方法，其特征在于，所述根據所述時序關系執行所述數據輸入過程和所述計算過程包括：

獲取所述數據輸入過程的時間水印以及所述計算過程的時間水印；

按照時間水印的先后順序依次觸發執行所述數據輸入過程和所述計算過程。

6.如權利要求4中所述的模型驗證方法，其特征在于，所述根據所述依賴關系執行所述數據輸入過程和所述計算過程包括：

獲取所述依賴關系中的觸發事項；

在執行所述數據輸入過程/所述計算過程的過程中，若檢測到所述觸發事項則開始執行所述計算過程/所述數據輸入過程。

7.如權利要求1~6中任一項所述的模型驗證方法，其特征在于，所述數據輸入過程包括實時訓練數據的輸入過程和/或離線訓練數據的輸入過程。

8.一種模型驗證裝置，其特征在于，所述裝置包括：

獲取模塊，用于獲取目標模型基于基線數據執行模型訓練的訓練過程數據；

拆分模塊，用于從所述訓練過程數據中拆分出數據輸入過程和計算過程，所述數據輸入過程包括輸入數據以及所述輸入數據在模型訓練過程中的流信息，所述計算過程包括計算邏輯以及所述計算邏輯對于目標數據的計算過程；

接收模塊，用于接收關于所述目標模型的模型驗證任務；

驗證模塊，用于調度所述數據輸入過程和所述計算過程至不同的驗證終端協同執行所述模型驗證任務，以得到對應的第一驗證結果和第二驗證結果；

聚合模塊，用于將所述第一驗證結果和所述第二驗證結果聚合得到模型驗證結果。

9.一種計算機設備，其特征在于，所述計算機設備包括存儲器、處理器，所述存儲器上存儲有可在所述處理器上運行的計算機程序，所述計算機程序被所述處理器執行時實現如權利要求1~7中任一項所述的模型驗證方法的步驟。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序可被至少一個處理器執行，以使所述至少一個處理器執行如權利要求1~7中任一項所述的模型驗證方法的步驟。