[發(fā)明專利]機(jī)器學(xué)習(xí)模型訓(xùn)練方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201610716460.3
• 申請(qǐng)日: 2016-08-24
• 公開（公告）號(hào): CN107784312B
• 公開（公告）日: 2020-12-22
• 發(fā)明（設(shè)計(jì)）人: 吳振國
• 申請(qǐng)（專利權(quán)）人: 騰訊征信有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06Q40/02
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司 11291
• 代理人: 李娟

1.一種利用機(jī)器學(xué)習(xí)模型對(duì)郵件進(jìn)行分類的方法，其特征在于，所述方法包括：

確定所述機(jī)器學(xué)習(xí)模型的訓(xùn)練集中郵件樣本的散度的差值，或確定所述機(jī)器學(xué)習(xí)模型的訓(xùn)練集中郵件樣本的散度的差值和所述訓(xùn)練集中郵件樣本的受試者工作特征曲線ROC，并

基于所述郵件樣本的散度的差值，構(gòu)造使用所述訓(xùn)練集訓(xùn)練的機(jī)器學(xué)習(xí)模型的損失函數(shù)，或基于所述郵件樣本的散度的差值和ROC，構(gòu)造使用所述訓(xùn)練集訓(xùn)練的機(jī)器學(xué)習(xí)模型的損失函數(shù)；

基于所述訓(xùn)練集迭代訓(xùn)練所述機(jī)器學(xué)習(xí)模型；

比較相鄰兩次迭代訓(xùn)練所述機(jī)器學(xué)習(xí)模型后對(duì)應(yīng)的損失函數(shù)的相對(duì)變化值；

當(dāng)所述損失函數(shù)的相對(duì)變化值小于指定值時(shí)，停止迭代訓(xùn)練所述機(jī)器學(xué)習(xí)模型；

利用基于所述訓(xùn)練集訓(xùn)練得到的所述機(jī)器學(xué)習(xí)模型對(duì)正常郵件和垃圾郵件進(jìn)行分類；

其中，所述基于所述郵件樣本的散度的差值，構(gòu)造使用所述訓(xùn)練集訓(xùn)練的機(jī)器學(xué)習(xí)模型的損失函數(shù)，包括：

確定所述訓(xùn)練集中不同類別的郵件樣本的數(shù)目、與各類別的郵件樣本被所述機(jī)器學(xué)習(xí)模型判決為相應(yīng)類別概率之間所服從的正態(tài)分布；其中，所述郵件樣本的類別包括：正常郵件和垃圾郵件；基于所確定的正態(tài)分布的方差和均值構(gòu)造散度損失函數(shù)，包括：基于不同類別的郵件樣本所服從正態(tài)分布的均值的差值，與所述不同類別的郵件樣本所服從正態(tài)分布的方差的加和之間的比值，構(gòu)造所述散度損失函數(shù)；

其中，所述基于所述郵件樣本的散度的差值和ROC，構(gòu)造使用所述訓(xùn)練集訓(xùn)練的機(jī)器學(xué)習(xí)模型的損失函數(shù)，包括：

基于散度損失函數(shù)和ROC損失函數(shù)的加權(quán)值確定所述損失函數(shù)；其中，

所述散度損失函數(shù)為確定所述訓(xùn)練集中不同類別的郵件樣本的數(shù)目、與各類別的郵件樣本被所述機(jī)器學(xué)習(xí)模型判決為相應(yīng)類別概率之間所服從的正態(tài)分布，并基于所述訓(xùn)練集中不同類別的郵件樣本所服從正態(tài)分布的均值的差值，與不同類別的郵件樣本所服從正態(tài)分布的方差的加和之間的比值確定，其中，所述郵件樣本的類別包括：正常郵件和垃圾郵件；

所述ROC損失函數(shù)為基于所述訓(xùn)練集中正常郵件的樣本被所述機(jī)器學(xué)習(xí)模型判決為所述正常郵件的概率，大于所述訓(xùn)練集中垃圾郵件的樣本被所述機(jī)器學(xué)習(xí)模型判決為所述垃圾郵件的概率的計(jì)數(shù)確定。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于散度損失函數(shù)和ROC損失函數(shù)的加權(quán)值確定所述損失函數(shù)，包括：

基于所述散度損失函數(shù)、ROC損失函數(shù)、以及交叉熵?fù)p失函數(shù)的加權(quán)值，確定所述損失函數(shù)。