[發明專利]模型迭代訓練方法及裝置

在審

• 申請號: 201811324203.0
• 申請日: 2018-11-08
• 公開（公告）號: CN109669964A
• 公開（公告）日: 2019-04-23
• 發明（設計）人: 張敏
• 申請（專利權）人: 建湖云飛數據科技有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06K9/62
• 代理公司: 南京常青藤知識產權代理有限公司 32286
• 代理人: 金迪

本發明公開了一種模型迭代訓練方法，包括：在第一樣本庫中選取第一迭代負面樣本，所述第一迭代負面樣本為第一樣本庫中除第一迭代正例樣本之外的其余樣本；在所述第一迭代正面樣本中隨機選取第一數量的第一測試樣本，在所述第一迭代負面樣本中隨機選取第二數量的第二測試樣本，根據所述第一數量的第一測試樣本以及第二數量的第二測試樣本對待訓練模型進行模型訓練，得到第一迭代訓練模型，如此迭代訓練，通過不斷增加正樣本數量提升了負樣本的清潔度，如此而訓練得到的分類模型穩定性較好。

技術領域

本發明涉及數據挖掘技術領域，特別涉及一種模型迭代訓練方法及裝置。

背景技術

當前數據挖掘技術受到了各個領域人員的極大關注。數據挖掘的基本任務為海量數據進行分類，而對數據分類通常基于訓練好的分類模型實現。

現在技術中在訓練分類模型時，首先選取用于模型訓練的正樣本和負樣本。其中，正樣本指代訓練模型用的樣本庫中已被標記的樣本。如具有相同需求或興趣的一類人群，負樣本從樣本庫中未被標記的樣本里選取。之后，根據該正例樣本和該負例樣本進行一輪模型訓練，得到分類模型。然而往往負樣本的清潔度會存在不高的問題，導致正例與負例樣本區分度不夠好，使用這樣的樣本數據對模型進行訓練，模型穩定性不夠好，模型的分類準確率等評估指標會相當低。

發明內容

為了解決現有技術的問題，本發明實施例提供了一種模型迭代訓練方法。所述技術方案如下：

一方面，本發明實施例提供了一種模型迭代訓練方法，所述方法包括：

在第一樣本庫中選取第一迭代負面樣本，所述第一迭代負面樣本為第一樣本庫中除第一迭代正例樣本之外的其余樣本；

在所述第一迭代正面樣本中隨機選取第一數量的第一測試樣本，在所述第一迭代負面樣本中隨機選取第二數量的第二測試樣本，所述第一數量與第二數量相等；

根據所述第一數量的第一測試樣本以及第二數量的第二測試樣本對待訓練模型進行模型訓練，得到第一迭代訓練模型；

采用所述第一迭代訓練模型對第二樣本庫進行分類測試，當測試結果不符合預定要求時，利用所述第一迭代訓練模型對第一樣本庫進行分類，根據所述分類結果，在第一樣本庫中確定第二迭代預測正面樣本，對于第二迭代預測正面樣本中的所有樣本，分別確定其被分類為正例樣本的可能性值，在所述第二迭代預測正面樣本中選取被分類為正例樣本的可能性值最高的預設數目個樣本，將所述預設數目個樣本確定為第二特殊正面樣本；

將所述第一迭代正面樣本和所述第二特殊正面樣本確定為第二迭代正面樣本，確定所述第一樣本庫中除所述第二迭代正面樣本外的其余樣本第二迭代正面樣本為第二迭代負面樣本；

根據所述第二迭代正面樣本和所述第二迭代負面樣本，對所述第一迭代訓練模型進行迭代訓練。

優選地，所述根據第一迭代正面樣本和第一迭代負面樣本進行模型訓練，包括：

基于待訓練模型，計算所述第一迭代正面樣本和所述第一迭代負面樣本的特征向量，所述待訓練模型為上一輪訓練過程得到的分類模型，所述待訓練模型的分類類別根據配置的樣本特征數據確定；

根據所述第一迭代正面樣本中每一個樣本的特征向量和所述第一迭代負面樣本中每一個樣本的特征向量，對第一迭代正面樣本和第一迭代負面樣本進行分類；

根據樣本分類結果和對所述第一迭代正面樣本的標記結果，優化所述待訓練模型的各個參數，得到所述第一迭代訓練模型。

本發明實施例提供的技術方案帶來的有益效果是：