[發(fā)明專利]基于多方安全計算的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練及預(yù)測方法、裝置

有效

• 申請?zhí)枺?/td>: 201911195445.9
• 申請日: 2019-11-28
• 公開（公告）號: CN110942147B
• 公開（公告）日: 2021-04-20
• 發(fā)明（設(shè)計）人: 陳超超;鄭龍飛;王力;周俊
• 申請（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06F21/62;G06F21/60;G06F21/71
• 代理公司: 北京永新同創(chuàng)知識產(chǎn)權(quán)代理有限公司 11376
• 代理人: 林錦輝

1.一種基于多方安全計算的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法，其中，所述神經(jīng)網(wǎng)絡(luò)模型利用第一數(shù)目個訓(xùn)練參與方協(xié)同訓(xùn)練，所述神經(jīng)網(wǎng)絡(luò)模型包括多個隱層并且被按照客戶端模型與服務(wù)端模型間隔的方式分割為至少一個客戶端模型和至少一個服務(wù)端模型，每個客戶端模型被分解為第一數(shù)目個客戶端子模型，每個客戶端子模型具有相同的子模型結(jié)構(gòu)，并且所有客戶端子模型的各個相同層節(jié)點(diǎn)的模型參數(shù)之和等于神經(jīng)網(wǎng)絡(luò)模型中的對應(yīng)分層節(jié)點(diǎn)的模型參數(shù)，所述至少一個服務(wù)端模型部署在服務(wù)端，每個客戶端子模型部署在對應(yīng)的訓(xùn)練參與方的客戶端，所述方法包括：

執(zhí)行下述循環(huán)過程，直到滿足循環(huán)結(jié)束條件：

將訓(xùn)練樣本數(shù)據(jù)提供給當(dāng)前神經(jīng)網(wǎng)絡(luò)模型，以經(jīng)由各個當(dāng)前客戶端模型和各個當(dāng)前服務(wù)端模型配合計算來得到所述當(dāng)前神經(jīng)網(wǎng)絡(luò)模型的當(dāng)前預(yù)測值，其中，在各個當(dāng)前客戶端模型，經(jīng)由各個訓(xùn)練參與方，使用各自的當(dāng)前客戶端子模型以及所述訓(xùn)練樣本數(shù)據(jù)或者在前的當(dāng)前服務(wù)端模型的計算結(jié)果來逐層進(jìn)行多方安全計算，以得到該當(dāng)前客戶端模型的計算結(jié)果，以及在各個當(dāng)前服務(wù)端模型，使用在前的當(dāng)前客戶端模型的計算結(jié)果來逐層進(jìn)行非多方安全計算，以得到該當(dāng)前服務(wù)端模型的計算結(jié)果；

基于所述當(dāng)前預(yù)測值和樣本標(biāo)記值，確定當(dāng)前預(yù)測差值；以及

在不滿足所述循環(huán)結(jié)束條件時，根據(jù)所述當(dāng)前預(yù)測差值，通過反向傳播來逐層調(diào)整各個當(dāng)前服務(wù)端模型和各個當(dāng)前客戶端子模型的各層模型參數(shù)，其中，調(diào)整后的各個服務(wù)端模型和各個客戶端子模型充當(dāng)下一循環(huán)過程的各個當(dāng)前服務(wù)端模型和各個當(dāng)前客戶端子模型，

其中，所述服務(wù)端模型中的神經(jīng)網(wǎng)絡(luò)模型分層結(jié)構(gòu)的模型計算與數(shù)據(jù)隱私保護(hù)無關(guān)。

2.如權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法，其中，所述客戶端模型所包括的隱層的總層數(shù)根據(jù)用于模型訓(xùn)練的算力、應(yīng)用場景所要求的訓(xùn)練時效性和/或訓(xùn)練安全等級確定。

3.如權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法，其中，所述神經(jīng)網(wǎng)絡(luò)模型包括N個隱層，所述神經(jīng)網(wǎng)絡(luò)模型被分割為第一客戶端模型和單個服務(wù)端模型，所述第一客戶端模型包括輸入層以及第一隱層到第K隱層，以及所述服務(wù)端模型包括輸出層以及第K+1隱層到第N隱層。

4.如權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法，其中，所述神經(jīng)網(wǎng)絡(luò)模型包括N個隱層，所述神經(jīng)網(wǎng)絡(luò)模型被分割為第一客戶端模型、單個服務(wù)端模型和第二客戶端模型，所述第一客戶端模型包括輸入層以及第一隱層到第K隱層，所述服務(wù)端模型包括第K+1隱層到第L隱層，以及所述第二客戶端模型包括輸出層以及第L+1隱層到第N隱層。

5.如權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法，其中，所述神經(jīng)網(wǎng)絡(luò)模型包括N個隱層，所述神經(jīng)網(wǎng)絡(luò)模型被分割為第一客戶端模型、單個服務(wù)端模型和第二客戶端模型，所述第一客戶端模型包括輸入層以及第一隱層到第K隱層，所述服務(wù)端模型包括第K+1隱層到第N隱層，以及所述第二客戶端模型包括輸出層。

6.如權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法，其中，所述當(dāng)前預(yù)測差值的確定過程在所述服務(wù)端執(zhí)行或者在擁有所述樣本標(biāo)記值的訓(xùn)練參與方的客戶端執(zhí)行。

7.如權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法，其中，所述循環(huán)結(jié)束條件包括：

循環(huán)次數(shù)達(dá)到預(yù)定次數(shù)；或者

當(dāng)前預(yù)測差值在預(yù)定差值范圍內(nèi)。

8.如權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法，其中，所述多方安全計算包括秘密共享、混淆電路和同態(tài)加密中的一種。

9.如權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法，其中，在所述服務(wù)端處的模型計算使用TensorFlow或Pytorch技術(shù)實(shí)現(xiàn)。

10.如權(quán)利要求1到9中任一所述的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法，其中，所述訓(xùn)練樣本數(shù)據(jù)包括基于圖像數(shù)據(jù)、語音數(shù)據(jù)或文本數(shù)據(jù)的訓(xùn)練樣本數(shù)據(jù)，或者所述訓(xùn)練樣本數(shù)據(jù)包括用戶特征數(shù)據(jù)。