[發(fā)明專利]邏輯回歸模型訓(xùn)練方法、裝置及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010096283.X
• 申請(qǐng)日: 2020-02-17
• 公開（公告）號(hào): CN110929887B
• 公開（公告）日: 2020-07-03
• 發(fā)明（設(shè)計(jì)）人: 陳超超;王力;周俊
• 申請(qǐng)（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號(hào): G06N20/00
• 分類號(hào): G06N20/00
• 代理公司: 北京永新同創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 11376
• 代理人: 林錦輝;劉景峰

本說明書實(shí)施例提供用于經(jīng)由多個(gè)訓(xùn)練參與方來訓(xùn)練邏輯回歸模型的方法和裝置。在該方法中，邏輯回歸模型被垂直切分為多個(gè)子模型，每個(gè)訓(xùn)練參與方具有一個(gè)子模型以及經(jīng)過垂直切分后得到的特征數(shù)據(jù)子集。在訓(xùn)練時(shí)，第一訓(xùn)練參與方將標(biāo)記值分解為多個(gè)部分標(biāo)記值，并分別向各個(gè)第二訓(xùn)練參與方發(fā)送一個(gè)部分標(biāo)記值。在各個(gè)訓(xùn)練參與方處，基于各自的當(dāng)前子模型、特征數(shù)據(jù)子集以及部分標(biāo)記值，確定該訓(xùn)練參與方處的預(yù)測(cè)差值。基于各個(gè)訓(xùn)練參與方的預(yù)測(cè)差值確定總預(yù)測(cè)差值。然后，各個(gè)訓(xùn)練參與方基于總預(yù)測(cè)差值和各自的特征數(shù)據(jù)子集，確定出對(duì)應(yīng)的模型更新量并進(jìn)行子模型更新。利用該方法，能夠保證各個(gè)模型訓(xùn)練參與方處的私有數(shù)據(jù)的數(shù)據(jù)安全。

技術(shù)領(lǐng)域

本說明書實(shí)施例通常涉及機(jī)器學(xué)習(xí)領(lǐng)域，尤其涉及用于使用垂直切分的特征數(shù)據(jù)集來經(jīng)由多個(gè)訓(xùn)練參與方協(xié)同訓(xùn)練邏輯回歸模型的方法、裝置及系統(tǒng)。

背景技術(shù)

邏輯回歸模型是機(jī)器學(xué)習(xí)領(lǐng)域廣泛使用的回歸/分類模型。在很多情況下，多個(gè)模型訓(xùn)練參與方(例如，電子商務(wù)公司、快遞公司和銀行)各自擁有訓(xùn)練邏輯回歸模型所使用的特征數(shù)據(jù)的不同部分?jǐn)?shù)據(jù)。該多個(gè)模型訓(xùn)練參與方通常想共同使用彼此的數(shù)據(jù)來統(tǒng)一訓(xùn)練邏輯回歸模型，但又不想把各自的數(shù)據(jù)提供給其它各個(gè)模型訓(xùn)練參與方以防止自己的數(shù)據(jù)被泄露。

面對(duì)這種情況，提出了能夠保護(hù)數(shù)據(jù)安全的邏輯回歸模型訓(xùn)練方法，其能夠在保證多個(gè)模型訓(xùn)練參與方的各自數(shù)據(jù)安全的情況下，協(xié)同該多個(gè)模型訓(xùn)練參與方來訓(xùn)練邏輯回歸模型，以供該多個(gè)模型訓(xùn)練參與方使用。然而，現(xiàn)有的能夠保護(hù)數(shù)據(jù)安全的邏輯回歸模型訓(xùn)練方法效率較低。

發(fā)明內(nèi)容

鑒于上述問題，本說明書實(shí)施例提供了一種用于經(jīng)由多個(gè)訓(xùn)練參與方協(xié)同訓(xùn)練邏輯回歸模型的方法、裝置及系統(tǒng)，其能夠在保證多個(gè)訓(xùn)練參與方的各自數(shù)據(jù)安全的情況下實(shí)現(xiàn)邏輯回歸模型訓(xùn)練。

根據(jù)本說明書實(shí)施例的一個(gè)方面，提供一種用于經(jīng)由第一數(shù)目個(gè)數(shù)據(jù)擁有方來訓(xùn)練邏輯回歸模型的方法，所述數(shù)據(jù)擁有方包括第一數(shù)據(jù)擁有方和第二數(shù)目個(gè)第二數(shù)據(jù)擁有方，第一數(shù)據(jù)擁有方本地具有子模型W₁，各個(gè)第二數(shù)據(jù)擁有方本地具有子模型W₂，所述第一數(shù)據(jù)擁有方的子模型W₁和各個(gè)第二數(shù)據(jù)擁有方的子模型W₂按照垂直切分的形式共同組成所述邏輯回歸模型，所述第一數(shù)據(jù)擁有方具有第一特征數(shù)據(jù)子集X₁和標(biāo)簽值Y，每個(gè)第二數(shù)據(jù)擁有方具有第二特征數(shù)據(jù)子集X₂，所述第一和第二特征數(shù)據(jù)子集按照垂直切分的形式共同組成用于模型訓(xùn)練的特征數(shù)據(jù)集，各個(gè)數(shù)據(jù)擁有方的特征數(shù)據(jù)是本地私密數(shù)據(jù)，所述特征數(shù)據(jù)包括基于圖像數(shù)據(jù)、語音數(shù)據(jù)或文本數(shù)據(jù)的特征數(shù)據(jù)，或者所述特征數(shù)據(jù)包括用戶特征數(shù)據(jù)，所述第二數(shù)目等于所述第一數(shù)目減一，所述方法由所述第一數(shù)據(jù)擁有方執(zhí)行，所述方法包括：將所述標(biāo)簽值Y分解為部分標(biāo)簽值Y₁和第二數(shù)目個(gè)部分標(biāo)簽值，并分別向各個(gè)第二數(shù)據(jù)擁有方發(fā)送所述第二數(shù)目個(gè)部分標(biāo)簽值中的一個(gè)部分標(biāo)簽值Y₂；執(zhí)行下述循環(huán)過程，直到滿足循環(huán)結(jié)束條件：計(jì)算所述第一數(shù)據(jù)擁有方處的當(dāng)前子模型W₁和所述第一特征數(shù)據(jù)子集X₁的第一矩陣乘積W₁*X₁；根據(jù)所述第一矩陣乘積W₁*X₁和部分標(biāo)簽值Y₁，使用第一差值確定公式E₁(W₁*X₁，Y₁)確定所述第一數(shù)據(jù)擁有方處的第一預(yù)測(cè)差值E₁；共享各個(gè)數(shù)據(jù)擁有方的預(yù)測(cè)差值，以基于所述第一預(yù)測(cè)差值E₁和各個(gè)第二數(shù)據(jù)擁有方處的第二預(yù)測(cè)差值E₂，確定當(dāng)前循環(huán)過程的總預(yù)測(cè)差值E，各個(gè)第二數(shù)據(jù)擁有方處的第二預(yù)測(cè)差值是在第二數(shù)據(jù)擁有方處，按照各自的第二差值確定公式E₂(W₂*X₂，Y₂)，使用基于所述第二數(shù)據(jù)擁有方處的當(dāng)前子模型W₂和對(duì)應(yīng)的第二特征數(shù)據(jù)子集X₂得到的第二矩陣乘積W₂*X₂以及所接收的部分標(biāo)簽值Y₂確定；基于所述總預(yù)測(cè)差值E和所述第一特征數(shù)據(jù)子集X₁，確定所述第一數(shù)據(jù)擁有方處的模型更新量；以及使用所述第一數(shù)據(jù)擁有方處的模型更新量來更新所述第一數(shù)據(jù)擁有方處的當(dāng)前子模型，其中，在循環(huán)過程未結(jié)束時(shí)，所述更新后的各個(gè)數(shù)據(jù)擁有方的子模型用作下一循環(huán)過程的當(dāng)前子模型，其中，所述第一差值確定公式E₁(W₁*X₁，Y₁)和各個(gè)第二差值確定公式E₂(W₂*X₂，Y₂)基于針對(duì)激活函數(shù)的多階多項(xiàng)式公式展開進(jìn)行分割后得到的分割結(jié)果確定，各個(gè)分割結(jié)果包括與各自的子模型和特征樣本子集相關(guān)的展開項(xiàng)。