[發明專利]一種篩選機器學習模型的方法及裝置

在審

• 申請號: 202010011960.3
• 申請日: 2020-01-07
• 公開（公告）號: CN110807530A
• 公開（公告）日: 2020-02-18
• 發明（設計）人: 趙博譞
• 申請（專利權）人: 銀聯數據服務有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 路曉丹

1.一種篩選機器學習模型的方法，其特征在于，包括：

通過第一數據集構建多組第一使用集，其中，各組第一使用集對應的驗證集均不同且各組第一使用集對應的訓練集均不同；

針對每個待篩選模型，確定所述待篩選模型在每組第一使用集下的驗證結果；根據各組第一使用集下的驗證結果確定所述待篩選模型在所述第一數據集下的第一驗證結果；其中，所述第一使用集下的驗證結果是所述待篩選模型經所述第一使用集下的訓練集訓練后使用所述第一使用集下的驗證集驗證的結果；

根據各待篩選模型在所述第一數據集下的第一驗證結果，將第一驗證結果大于第一設定閾值的待篩選模型作為目標模型；

其中，所述確定所述待篩選模型在每組第一使用集下的驗證結果，通過如下方式得到：

在第二數據集下按照所述待篩選模型的參數組中已訓練的參數組和已訓練的參數組的驗證結果，從所述待篩選模型的參數組中尚未訓練的參數組中確定下一訓練使用的參數組，直至確定出所述待篩選模型在所述第二數據集下的第一目標參數組；根據所述待篩選模型及所述第一目標參數組，確定所述待篩選模型在所述第一使用集下的驗證結果；所述第二數據集與所述第一數據集不同。

2.根據權利要求1所述的方法，其特征在于，在所述將第一驗證結果大于第一設定閾值的待篩選模型作為目標模型之后，還包括：

根據所述目標模型在所述第二數據集下的已訓練的參數組，從所述目標模型的參數組中確定出再訓練的參數組；

在所述第一數據集下按照所述再訓練的參數組中已訓練的參數組和已訓練的參數組的驗證結果，從所述再訓練的參數組中尚未訓練的參數組中確定下一訓練使用的參數組，直至確定出所述目標模型在所述第一數據集下的第二目標參數組；

確定所述目標模型和所述第二目標參數組為模型訓練的初始模型。

3.根據權利要求1所述的方法，其特征在于，所述在第二數據集下按照所述待篩選模型的參數組中已訓練的參數組和已訓練的參數組的驗證結果通過如下方式獲得，包括：

通過所述第二數據集構建多組第二使用集，其中，各組第二使用集對應的驗證集均不同且各組第二使用集對應的訓練集均不同；

針對每個已訓練的參數組，確定所述已訓練的參數組在每個第二使用集下的驗證結果；根據各組第二使用集下的驗證結果確定所述已訓練的參數組的驗證結果；其中，所述第二使用集下的驗證結果是所述待篩選模型經所述第二使用集下的訓練集訓練后使用所述第二使用集下的驗證集驗證的結果。

4.根據權利要求3所述的方法，其特征在于，所述根據各組第一使用集下的驗證結果確定所述待篩選模型在所述第一數據集下的第一驗證結果，包括：

根據各組第一使用集下的驗證結果的均值確定所述待篩選模型在所述第一數據集下的第一驗證結果；

根據各組第二使用集下的驗證結果確定所述已訓練的參數組的驗證結果，包括：

根據各第二使用集下的驗證結果的均值確定所述已訓練的參數組的驗證結果。

5.根據權利要求1至4任一項所述的方法，其特征在于，所述在第二數據集下按照所述待篩選模型的參數組中已訓練的參數組和已訓練的參數組的驗證結果，從所述待篩選模型的參數組中尚未訓練的參數組中確定下一訓練使用的參數組，包括：

根據所述已訓練的參數組和所述已訓練的參數組的驗證結果確定符合預設置信度的置信區間，所述置信區間用于表示每個參數組預測的驗證結果；

通過預設的獲取函數確定所述置信區間對應的下一訓練使用的參數組；

根據所述待篩選模型及所述下一訓練使用的參數組在所述第二數據集下訓練驗證的驗證結果，更新所述置信區間。