[發(fā)明專利]邏輯回歸模型訓(xùn)練方法、裝置及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010096283.X
• 申請(qǐng)日: 2020-02-17
• 公開（公告）號(hào): CN110929887B
• 公開（公告）日: 2020-07-03
• 發(fā)明（設(shè)計(jì)）人: 陳超超;王力;周俊
• 申請(qǐng)（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號(hào): G06N20/00
• 分類號(hào): G06N20/00
• 代理公司: 北京永新同創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 11376
• 代理人: 林錦輝;劉景峰

1.一種用于經(jīng)由第一數(shù)目個(gè)數(shù)據(jù)擁有方來訓(xùn)練邏輯回歸模型的方法，所述數(shù)據(jù)擁有方包括第一數(shù)據(jù)擁有方和第二數(shù)目個(gè)第二數(shù)據(jù)擁有方，第一數(shù)據(jù)擁有方本地具有子模型W₁，各個(gè)第二數(shù)據(jù)擁有方本地具有子模型W₂，所述第一數(shù)據(jù)擁有方的子模型W₁和各個(gè)第二數(shù)據(jù)擁有方的子模型W₂按照垂直切分的形式共同組成所述邏輯回歸模型，所述第一數(shù)據(jù)擁有方具有第一特征數(shù)據(jù)子集X₁和標(biāo)簽值Y，每個(gè)第二數(shù)據(jù)擁有方具有第二特征數(shù)據(jù)子集X₂，所述第一和第二特征數(shù)據(jù)子集按照垂直切分的形式共同組成用于模型訓(xùn)練的特征數(shù)據(jù)集，各個(gè)數(shù)據(jù)擁有方的特征數(shù)據(jù)是本地私密數(shù)據(jù)，所述特征數(shù)據(jù)包括基于圖像數(shù)據(jù)、語音數(shù)據(jù)或文本數(shù)據(jù)的特征數(shù)據(jù)，或者所述特征數(shù)據(jù)包括用戶特征數(shù)據(jù)，所述第二數(shù)目等于所述第一數(shù)目減一，所述方法由所述第一數(shù)據(jù)擁有方執(zhí)行，所述方法包括：

將所述標(biāo)簽值Y分解為部分標(biāo)簽值Y₁和第二數(shù)目個(gè)部分標(biāo)簽值，并分別向各個(gè)第二數(shù)據(jù)擁有方發(fā)送所述第二數(shù)目個(gè)部分標(biāo)簽值中的一個(gè)部分標(biāo)簽值Y₂；

執(zhí)行下述循環(huán)過程，直到滿足循環(huán)結(jié)束條件：

計(jì)算所述第一數(shù)據(jù)擁有方處的當(dāng)前子模型W₁和所述第一特征數(shù)據(jù)子集X₁的第一矩陣乘積W₁*X₁；

根據(jù)所述第一矩陣乘積W₁*X₁和部分標(biāo)簽值Y₁，使用第一差值確定公式E₁(W₁*X₁，Y₁)確定所述第一數(shù)據(jù)擁有方處的第一預(yù)測(cè)差值E₁；

共享各個(gè)數(shù)據(jù)擁有方的預(yù)測(cè)差值，以基于所述第一預(yù)測(cè)差值E₁和各個(gè)第二數(shù)據(jù)擁有方處的第二預(yù)測(cè)差值E₂，確定當(dāng)前循環(huán)過程的總預(yù)測(cè)差值E，各個(gè)第二數(shù)據(jù)擁有方處的第二預(yù)測(cè)差值是在第二數(shù)據(jù)擁有方處，按照各自的第二差值確定公式E₂(W₂*X₂，Y₂)，使用基于所述第二數(shù)據(jù)擁有方處的當(dāng)前子模型W₂和對(duì)應(yīng)的第二特征數(shù)據(jù)子集X₂得到的第二矩陣乘積W₂*X₂以及所接收的部分標(biāo)簽值Y₂確定；

基于所述總預(yù)測(cè)差值E和所述第一特征數(shù)據(jù)子集X₁，確定所述第一數(shù)據(jù)擁有方處的模型更新量；以及

使用所述第一數(shù)據(jù)擁有方處的模型更新量來更新所述第一數(shù)據(jù)擁有方處的當(dāng)前子模型，其中，在循環(huán)過程未結(jié)束時(shí)，所述更新后的各個(gè)數(shù)據(jù)擁有方的子模型用作下一循環(huán)過程的當(dāng)前子模型，

其中，所述第一差值確定公式E₁(W₁*X₁，Y₁)和各個(gè)第二差值確定公式E₂(W₂*X₂，Y₂)基于針對(duì)激活函數(shù)的多階多項(xiàng)式公式展開進(jìn)行分割后得到的分割結(jié)果確定，各個(gè)分割結(jié)果包括與各自的子模型和特征樣本子集相關(guān)的展開項(xiàng)。

2.如權(quán)利要求1所述的方法，其中，所述多階多項(xiàng)式公式展開是泰勒公式展開。

3.如權(quán)利要求2所述的方法，其中，所述泰勒公式展開是二階泰勒公式展開。

4.如權(quán)利要求1所述的方法，其中，基于所述第一預(yù)測(cè)差值和各個(gè)第二數(shù)據(jù)擁有方處的第二預(yù)測(cè)差值，確定當(dāng)前循環(huán)過程的總預(yù)測(cè)差值包括：

對(duì)所述第一預(yù)測(cè)差值和各個(gè)第二數(shù)據(jù)擁有方處的第二預(yù)測(cè)差值進(jìn)行求和計(jì)算，以確定當(dāng)前循環(huán)過程的總預(yù)測(cè)差值。

5.如權(quán)利要求4所述的方法，其中，所述求和計(jì)算包括安全求和計(jì)算。