[發(fā)明專利]機器學習模型訓練方法及裝置

有效

• 申請?zhí)枺?/td>: 201610716460.3
• 申請日: 2016-08-24
• 公開（公告）號: CN107784312B
• 公開（公告）日: 2020-12-22
• 發(fā)明（設計）人: 吳振國
• 申請（專利權）人: 騰訊征信有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06Q40/02
• 代理公司: 北京同達信恒知識產(chǎn)權代理有限公司 11291
• 代理人: 李娟

本發(fā)明公開了一種機器學習模型訓練方法及裝置；方法包括：確定訓練集中樣本的散度的差值，和/或所述訓練集中樣本的ROC；基于所述散度的差值和/或所述ROC，構造使用所述訓練集訓練的機器學習模型的損失函數(shù)；基于所述訓練集迭代訓練所述機器學習模型；比較相鄰兩次迭代訓練所述機器學習模型后對應的損失函數(shù)的相對變化值；當所述損失函數(shù)的相對變化值小于指定值時，停止迭代訓練所述機器學習模型。實施本發(fā)明，能夠克服監(jiān)督學習方式訓練機器學習模型時樣本不均衡帶來的影響，提升機器學習模型的性能。

技術領域

本發(fā)明涉及通信領域的機器學習技術，尤其涉及一種機器學習模型訓練方法及裝置。

背景技術

機器學習(ML，Machine Learning)是一門多領域交叉學科，涉及概率論、統(tǒng)計學、逼近論、凸分析、算法復雜度理論等多門學科。專門研究計算機怎樣模擬或實現(xiàn)人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構使之不斷改善自身的性能，在實際工業(yè)領域中不斷獲得應用，例如采用機器學習的方法訓練對郵件進行分類的機器學習模型，對海量的郵件是否為垃圾郵件進行預測。

機器學習的類型包括：監(jiān)督學習、無監(jiān)督學習、半監(jiān)督學習等。監(jiān)督學習是指：利用不同類別的樣本構成的訓練集調整機器學習模型的參數(shù)，使機器學習模型達到所要求的分類性能。

在監(jiān)督學習中，用于訓練機器學習模型的樣本的類別是已知的。例如，一個垃圾郵件過濾的機器學習模型的訓練集，包含垃圾郵件以及常規(guī)郵件，在有監(jiān)督的機器學習模型的訓練過程中，訓練集中的郵件是垃圾郵件或是正常郵件，機器學習模型對不同類別的郵件的特征進行學習，以使機器學習模型能對未知郵件進行分類的能力的過程稱為訓練機器學習模型。

監(jiān)督學習經(jīng)常會遇到不同類別的樣本的數(shù)量不均衡的問題。例如訓練用于識別垃圾郵件的機器學習模型時，垃圾郵件往往遠遠少于非垃圾郵件。

面對此類情況，相關技術采用多種方案解決樣本不均衡的問題，但是訓練得到的機器學習模型，仍然會把新增的部分或者全部未知樣本的都預測為多數(shù)樣本的類別也就是正常郵件，即使已知當前輸入機器學習模型的郵件中多數(shù)為垃圾郵件，影響機器學習模型的精度。

發(fā)明內容

本發(fā)明實施例提供一種機器學習模型訓練方法及裝置，能夠克服監(jiān)督學習方式訓練機器學習模型時樣本不均衡帶來的影響，提升機器學習模型的性能。

本發(fā)明實施例的方案是這樣實現(xiàn)的：

第一方面，本發(fā)明實施例提供一種機器學習模型訓練方法，所述方法包括：

確定訓練集中樣本的散度的差值，和/或所述訓練集中樣本的ROC；

基于所述散度的差值和/或所述ROC，構造使用所述訓練集訓練的機器學習模型的損失函數(shù)；

基于所述測試集迭代訓練所述機器學習模型；

比較相鄰兩次迭代訓練所述機器學習模型后對應的損失函數(shù)的相對變化值；

當損失函數(shù)的這個相對變化值小于指定值時，停止迭代訓練所述機器學習模型。

第二方面，本發(fā)明實施例提供一種機器學習模型訓練裝置，所述裝置包括：

確定單元，用于確定訓練集中樣本的散度的差值，和/或所述訓練集中樣本的ROC；

構造單元，用于基于所述散度的差值和/或所述ROC，構造使用所述訓練集訓練的機器學習模型的損失函數(shù)；

訓練單元，用于基于所述訓練集迭代訓練所述機器學習模型；

比較單元，用于比較相鄰兩次迭代訓練所述機器學習模型的損失函數(shù)的相對變化值；

所述訓練單元，還用于當所述損失函數(shù)的相對變化值小于指定值時，停止迭代訓練所述機器學習模型。