[發(fā)明專利]基于多方安全計算的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練及預(yù)測方法、裝置

有效

• 申請?zhí)枺?/td>: 201911195445.9
• 申請日: 2019-11-28
• 公開（公告）號: CN110942147B
• 公開（公告）日: 2021-04-20
• 發(fā)明（設(shè)計）人: 陳超超;鄭龍飛;王力;周俊
• 申請（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06F21/62;G06F21/60;G06F21/71
• 代理公司: 北京永新同創(chuàng)知識產(chǎn)權(quán)代理有限公司 11376
• 代理人: 林錦輝

本說明書實施例提供基于多方安全計算的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法、模型預(yù)測方法及裝置。神經(jīng)網(wǎng)絡(luò)模型被分割為至少一個客戶端模型和至少一個服務(wù)端模型，服務(wù)端模型部署在服務(wù)端，客戶端模型部署在對應(yīng)訓(xùn)練參與方的客戶端。在每次循環(huán)時，訓(xùn)練樣本數(shù)據(jù)被提供給神經(jīng)網(wǎng)絡(luò)模型來得到當前預(yù)測值和當前預(yù)測差值。在各個客戶端模型，經(jīng)由各個訓(xùn)練參與方使用各自的客戶端子模型以及所接收的數(shù)據(jù)逐層進行多方安全計算。在各個服務(wù)端模型，使用在前客戶端模型的計算結(jié)果逐層進行非多方安全計算。在循環(huán)未結(jié)束時，根據(jù)當前預(yù)測差值，通過反向傳播來調(diào)整服務(wù)端模型和客戶端子模型的各層模型參數(shù)。利用該方法，能夠在確保隱私數(shù)據(jù)安全的情況下提高模型訓(xùn)練效率。

技術(shù)領(lǐng)域

本說明書的實施例通常涉及計算機領(lǐng)域，更具體地，涉及基于多方安全計算的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法、模型預(yù)測方法及裝置。

背景技術(shù)

對于公司或企業(yè)而言，數(shù)據(jù)是非常重要的資產(chǎn)，比如，用戶數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)。用戶數(shù)據(jù)例如可以包括用戶身份數(shù)據(jù)等。業(yè)務(wù)數(shù)據(jù)例如可以包括在公司提供的業(yè)務(wù)應(yīng)用上發(fā)生的業(yè)務(wù)數(shù)據(jù)，比如淘寶上的商品交易數(shù)據(jù)等。保護數(shù)據(jù)安全是公司或企業(yè)廣泛關(guān)注的技術(shù)問題。

在公司或企業(yè)進行業(yè)務(wù)運營時，通常會需要使用機器學(xué)習(xí)模型來進行模型預(yù)測，以確定業(yè)務(wù)運營風(fēng)險或者進行業(yè)務(wù)運營決策。神經(jīng)網(wǎng)絡(luò)模型是機器學(xué)習(xí)領(lǐng)域廣泛使用的機器學(xué)習(xí)模型。在很多情況下，神經(jīng)網(wǎng)絡(luò)模型需要多個模型訓(xùn)練參與方來協(xié)同進行模型訓(xùn)練，多個模型訓(xùn)練參與方(例如，電子商務(wù)公司、快遞公司和銀行)各自擁有訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型所使用的訓(xùn)練數(shù)據(jù)中的部分數(shù)據(jù)。該多個模型訓(xùn)練參與方希望共同使用彼此的數(shù)據(jù)來統(tǒng)一訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，但又不想把各自的隱私數(shù)據(jù)提供給其它各個模型訓(xùn)練參與方以防止自己的隱私數(shù)據(jù)泄露。

面對這種情況，提出了能夠保護隱私數(shù)據(jù)安全的機器學(xué)習(xí)模型訓(xùn)練方法，其能夠在保證多個模型訓(xùn)練參與方的各自隱私數(shù)據(jù)安全的情況下，協(xié)同該多個模型訓(xùn)練參與方來訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，以供該多個模型訓(xùn)練參與方使用。

發(fā)明內(nèi)容

鑒于上述問題，本說明書的實施例提供了一種基于多方安全計算的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法、模型預(yù)測方法及裝置，其能夠在保證多個訓(xùn)練參與方的各自隱私數(shù)據(jù)安全的情況下提高模型訓(xùn)練效率。

根據(jù)本說明書的實施例的一個方面，提供一種基于多方安全計算的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法，其中，所述神經(jīng)網(wǎng)絡(luò)模型利用第一數(shù)目個訓(xùn)練參與方協(xié)同訓(xùn)練，所述神經(jīng)網(wǎng)絡(luò)模型包括多個隱層并且被按照客戶端模型與服務(wù)端模型間隔的方式分割為至少一個客戶端模型和至少一個服務(wù)端模型，每個客戶端模型被分解為第一數(shù)目個客戶端子模型，每個客戶端子模型具有相同的子模型結(jié)構(gòu)，所述至少一個服務(wù)端模型部署在服務(wù)端，每個客戶端子模型部署在對應(yīng)的訓(xùn)練參與方的客戶端，所述方法包括：執(zhí)行下述循環(huán)過程，直到滿足循環(huán)結(jié)束條件：將訓(xùn)練樣本數(shù)據(jù)提供給當前神經(jīng)網(wǎng)絡(luò)模型，以經(jīng)由各個當前客戶端模型和各個當前服務(wù)端模型配合計算來得到所述當前神經(jīng)網(wǎng)絡(luò)模型的當前預(yù)測值，其中，在各個當前客戶端模型，經(jīng)由各個訓(xùn)練參與方，使用各自的當前客戶端子模型以及所述訓(xùn)練樣本數(shù)據(jù)或者在前的當前服務(wù)端模型的計算結(jié)果來逐層進行多方安全計算，以得到該當前客戶端模型的計算結(jié)果，以及在各個當前服務(wù)端模型，使用在前的當前客戶端模型的計算結(jié)果來逐層進行非多方安全計算，以得到該當前服務(wù)端模型的計算結(jié)果；基于所述當前預(yù)測值和樣本標記值，確定當前預(yù)測差值；以及在不滿足所述循環(huán)結(jié)束條件時，根據(jù)所述當前預(yù)測差值，通過反向傳播來逐層調(diào)整各個當前服務(wù)端模型和各個當前客戶端子模型的各層模型參數(shù)，所述調(diào)整后的各個服務(wù)端模型和各個客戶端子模型充當下一循環(huán)過程的各個當前服務(wù)端模型和各個當前客戶端子模型。

可選地，在上述方面的一個示例中，所述服務(wù)端模型中的神經(jīng)網(wǎng)絡(luò)模型分層結(jié)構(gòu)的模型計算與數(shù)據(jù)隱私保護無關(guān)。

可選地，在上述方面的一個示例中，所述客戶端模型所包括的隱層的總層數(shù)可以根據(jù)用于模型訓(xùn)練的算力、應(yīng)用場景所要求的訓(xùn)練時效性和/或訓(xùn)練安全等級確定。