[發(fā)明專利]業(yè)務(wù)預(yù)測(cè)系統(tǒng)的訓(xùn)練方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202110322500.7
• 申請(qǐng)日: 2021-03-25
• 公開（公告）號(hào): CN112949752B
• 公開（公告）日: 2022-09-06
• 發(fā)明（設(shè)計(jì)）人: 申書恒;鄭霖;傅欣藝;劉蓓;王維強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06N3/08;G06N5/00;G06N20/20;G06Q20/40;G06F16/9535
• 代理公司: 北京億騰知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11309
• 代理人: 陳霽;周良玉

本說明書實(shí)施例提供一種業(yè)務(wù)預(yù)測(cè)系統(tǒng)的訓(xùn)練方法。在該方法中的第一階段，先利用源域豐富的標(biāo)簽信息，訓(xùn)練源域與目標(biāo)域共享的強(qiáng)特征提取器，之后將其應(yīng)用于目標(biāo)域；在第二階段，利用經(jīng)由訓(xùn)練后的特征提取器從目標(biāo)域樣本中提取出的強(qiáng)特征，以及目標(biāo)域樣本中的原始特征和業(yè)務(wù)標(biāo)簽，對(duì)針對(duì)目標(biāo)域?qū)ο蟮臉I(yè)務(wù)預(yù)測(cè)模型進(jìn)行有監(jiān)督地訓(xùn)練。由此，第一階段中訓(xùn)練出的強(qiáng)特征提取器和第二階段中訓(xùn)練出的業(yè)務(wù)預(yù)測(cè)模型，構(gòu)成應(yīng)用于目標(biāo)域的業(yè)務(wù)預(yù)測(cè)系統(tǒng)。

技術(shù)領(lǐng)域

本說明書一個(gè)或多個(gè)實(shí)施例涉及機(jī)器學(xué)習(xí)領(lǐng)域，尤其涉及一種業(yè)務(wù)預(yù)測(cè)系統(tǒng)的訓(xùn)練方法及裝置。

背景技術(shù)

隨著機(jī)器學(xué)習(xí)的興起，越來越多的業(yè)務(wù)平臺(tái)，通過訓(xùn)練機(jī)器學(xué)習(xí)模型，對(duì)其平臺(tái)的業(yè)務(wù)對(duì)象進(jìn)行分析、評(píng)估。例如，電商平臺(tái)、社交平臺(tái)等，通過訓(xùn)練風(fēng)險(xiǎn)評(píng)估模型，對(duì)平臺(tái)中的操作事件進(jìn)行風(fēng)險(xiǎn)評(píng)估，識(shí)別出有可能威脅網(wǎng)絡(luò)安全或用戶信息安全的高風(fēng)險(xiǎn)操作行為，例如盜取賬戶、流量攻擊、欺詐交易等等，從而及時(shí)進(jìn)行防控。

通常，模型的訓(xùn)練依賴大量的標(biāo)注數(shù)據(jù)，然而，在一些標(biāo)注數(shù)據(jù)稀少的領(lǐng)域，很難進(jìn)行模型的訓(xùn)練和學(xué)習(xí)。例如，對(duì)于新上線的業(yè)務(wù)平臺(tái)，積累的業(yè)務(wù)數(shù)據(jù)量較少。依賴這樣的數(shù)據(jù)直接訓(xùn)練出的模型，往往存在性能欠佳等問題。

因此，需要一種方案，可以在標(biāo)注數(shù)據(jù)稀少的情況下，仍能夠訓(xùn)練出性能足夠好的機(jī)器學(xué)習(xí)模型，用于對(duì)業(yè)務(wù)對(duì)象進(jìn)行更為準(zhǔn)確有效地分析評(píng)估。

發(fā)明內(nèi)容

本說明書一個(gè)或多個(gè)實(shí)施例描述業(yè)務(wù)預(yù)測(cè)模型的訓(xùn)練方法及裝置，采用此方法或裝置訓(xùn)練出的業(yè)務(wù)預(yù)測(cè)模型，能夠?qū)I(yè)務(wù)對(duì)象進(jìn)行更為準(zhǔn)確、有效地分析評(píng)估。

根據(jù)第一方面，提供了一種業(yè)務(wù)預(yù)測(cè)系統(tǒng)的訓(xùn)練方法，包括：獲取訓(xùn)練樣本集，其中包括多個(gè)源域樣本和多個(gè)目標(biāo)域樣本，其中各個(gè)樣本包括對(duì)應(yīng)多個(gè)公共特征的特征值，形成公共特征部分。將所述各個(gè)樣本中的公共特征部分作為當(dāng)前特征部分，輸入遷移學(xué)習(xí)系統(tǒng)，該遷移學(xué)習(xí)系統(tǒng)包括特征表征器，域判別器和源域業(yè)務(wù)預(yù)測(cè)器，其中，當(dāng)所述當(dāng)前特征部分屬于源域樣本時(shí)，采用所述特征表征器對(duì)該當(dāng)前特征部分進(jìn)行特征表征，得到源域特征表示；將該源域特征表示分別輸入所述域判別器和源域業(yè)務(wù)預(yù)測(cè)器中，對(duì)應(yīng)得到源域判別結(jié)果和源域業(yè)務(wù)預(yù)測(cè)結(jié)果；當(dāng)所述當(dāng)前特征部分屬于目標(biāo)域樣本時(shí)，采用所述特征表征器對(duì)該當(dāng)前特征部分進(jìn)行特征表征，得到目標(biāo)域特征表示；將該目標(biāo)域特征表示輸入所述域判別器中，得到目標(biāo)域判別結(jié)果。根據(jù)所述源域判別結(jié)果和源域標(biāo)識(shí)，以及所述目標(biāo)域判別結(jié)果和目標(biāo)域標(biāo)識(shí)，確定域判別損失；根據(jù)所述源域業(yè)務(wù)預(yù)測(cè)結(jié)果和其所對(duì)應(yīng)源域樣本中的源域業(yè)務(wù)標(biāo)簽，確定源域預(yù)測(cè)損失；基于所述域判別損失和源域預(yù)測(cè)損失，訓(xùn)練所述遷移學(xué)習(xí)系統(tǒng)。利用訓(xùn)練后遷移學(xué)習(xí)系統(tǒng)中的特征表征器，處理所述多個(gè)目標(biāo)域樣本對(duì)應(yīng)的多個(gè)公共特征部分，得到多個(gè)強(qiáng)特征表示。利用所述多個(gè)目標(biāo)域樣本和對(duì)應(yīng)的多個(gè)強(qiáng)特征表示，訓(xùn)練針對(duì)目標(biāo)域業(yè)務(wù)對(duì)象的業(yè)務(wù)預(yù)測(cè)模型；其中，訓(xùn)練后的業(yè)務(wù)預(yù)測(cè)模型和所述訓(xùn)練后遷移學(xué)習(xí)系統(tǒng)中的特征表征器構(gòu)成業(yè)務(wù)預(yù)測(cè)系統(tǒng)。

在一個(gè)實(shí)施例中，每個(gè)目標(biāo)域樣本中還包括對(duì)應(yīng)若干目標(biāo)域私有特征的特征值。

在一個(gè)實(shí)施例中，將該源域特征表示分別輸入所述域判別器和源域業(yè)務(wù)預(yù)測(cè)器中，對(duì)應(yīng)得到源域判別結(jié)果和源域業(yè)務(wù)預(yù)測(cè)結(jié)果，包括：將所述源域特征表示輸入所述源域業(yè)務(wù)預(yù)測(cè)器，得到所述源域業(yè)務(wù)預(yù)測(cè)結(jié)果；將所述源域業(yè)務(wù)預(yù)測(cè)結(jié)果和源域特征表示共同輸入域判別器，得到所述源域判別結(jié)果。其中，所述遷移學(xué)習(xí)系統(tǒng)中還包括目標(biāo)域業(yè)務(wù)預(yù)測(cè)器，在采用所述特征表征器對(duì)其進(jìn)行特征表征，得到目標(biāo)域特征表示之后，所述方法還包括：將所述目標(biāo)域特征表示輸入目標(biāo)域業(yè)務(wù)預(yù)測(cè)器，得到所述目標(biāo)域業(yè)務(wù)預(yù)測(cè)結(jié)果；其中，將該目標(biāo)域特征表示輸入所述域判別器中，得到目標(biāo)域判別結(jié)果，包括：將所述目標(biāo)域業(yè)務(wù)預(yù)測(cè)結(jié)果和目標(biāo)域特征表示共同輸入域判別器，得到所述目標(biāo)域判別結(jié)果。

在一個(gè)實(shí)施例中，所述特征表征器實(shí)現(xiàn)為深度神經(jīng)網(wǎng)絡(luò)DNN。