[發(fā)明專利]聯(lián)邦神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法、裝置、設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202011167325.0
• 申請日: 2020-10-27
• 公開（公告）號: CN112149171B
• 公開（公告）日: 2021-07-09
• 發(fā)明（設(shè)計）人: 程勇;薛煥然;符芳誠;陶陽宇
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F21/60
• 分類號: G06F21/60;G06N3/04;G06N5/04;G06N3/08
• 代理公司: 北京派特恩知識產(chǎn)權(quán)代理有限公司 11270
• 代理人: 趙翠萍;張穎玲

1.一種聯(lián)邦神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法，其特征在于，所述聯(lián)邦神經(jīng)網(wǎng)絡(luò)模型至少包括第一參與方的第一下層模型、第二參與方的第二下層模型、交互層和所述第二參與方的上層模型；所述方法包括：

將所述第一參與方數(shù)據(jù)和所述第二參與方數(shù)據(jù)分別對應(yīng)輸入至所述第一下層模型和所述第二下層模型中，以通過所述第一下層模型對所述第一參與方數(shù)據(jù)進行處理，得到第一下層模型輸出值，通過所述第二下層模型對所述第二參與方數(shù)據(jù)進行處理，得到第二下層模型輸出值；

將所述第一下層模型輸出值、所述第二下層模型輸出值、所述第一參與方生成的交互層模型參數(shù)、和基于RIAC加密方式對所述交互層模型參數(shù)進行加密后所得到的加密模型參數(shù)，分別輸入至所述交互層，在所述交互層，由所述第二參與方生成第一噪聲數(shù)據(jù)，并將所述第一噪聲數(shù)據(jù)發(fā)送給所述第一參與方；

由所述第一參與方基于所述RIAC加密方式對所述第一下層模型輸出值和所述第一噪聲數(shù)據(jù)分別進行加密處理，對應(yīng)得到第一加密模型輸出值和第一加密噪聲數(shù)據(jù)，并將所述第一加密模型輸出值和所述第一加密噪聲數(shù)據(jù)發(fā)送給所述第二參與方；

由所述第二參與方對所述第一加密模型輸出值、所述第二下層模型輸出值、所述交互層模型參數(shù)和所述第一加密噪聲數(shù)據(jù)，依次進行向量變換處理和激活處理，得到所述交互層的輸出向量；

將所述輸出向量輸入至所述上層模型中，以通過所述上層模型對所述輸出向量進行前向計算，得到所述聯(lián)邦神經(jīng)網(wǎng)絡(luò)模型的輸出值；

將所述輸出值輸入至預(yù)設(shè)損失函數(shù)中，得到損失結(jié)果；

根據(jù)所述損失結(jié)果對所述聯(lián)邦神經(jīng)網(wǎng)絡(luò)模型進行反向傳播處理，以更新所述交互層模型參數(shù)，完成對所述聯(lián)邦神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述交互層模型參數(shù)包括對應(yīng)于所述第一參與方的第一模型參數(shù)和對應(yīng)于所述第二參與方的第二模型參數(shù)；

所述由所述第二參與方對所述第一加密模型輸出值、所述第二下層模型輸出值、所述交互層模型參數(shù)和所述第一加密噪聲數(shù)據(jù)，依次進行所述向量變換處理和所述激活處理，得到所述交互層的輸出向量，包括：

由所述第二參與方生成第二噪聲數(shù)據(jù)，并獲取所述第一參與方在所述反向傳播處理過程中的噪聲之和；

根據(jù)所述第一模型參數(shù)、所述第一下層模型輸出值、所述噪聲之和、所述第二噪聲數(shù)據(jù)和所述第一噪聲數(shù)據(jù)，確定所述第一參與方的第一變換向量；

將所述第二模型參數(shù)與所述第二下層模型輸出值之間的乘積，確定為所述第二參與方的第二變換向量；

對所述第一變換向量和所述第二變換向量進行向量合并，得到合并向量；

對所述合并向量進行所述激活處理，得到所述交互層的輸出向量。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述第一模型參數(shù)、所述第一下層模型輸出值、所述噪聲之和、所述第二噪聲數(shù)據(jù)和所述第一噪聲數(shù)據(jù)，確定所述第一參與方的第一變換向量，包括：

由所述第二參與方根據(jù)所述第一模型參數(shù)、對所述第一下層模型輸出值進行加密后的第一加密模型參數(shù)、所述第二噪聲數(shù)據(jù)和所述第一加密噪聲數(shù)據(jù)，確定第一密文，并將所述第一密文發(fā)送給第一參與方；

由所述第一參與方解密所述第一密文，得到第一明文；

根據(jù)所述第一明文、所述第一下層模型輸出值和所述噪聲之和，確定第二明文，并將所述第二明文發(fā)送給所述第二參與方；

由所述第二參與方對所述第二明文進行誤差消除，得到所述第一變換向量。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對所述第一變換向量和所述第二變換向量進行向量合并，得到合并向量，包括：

對所述第一變換向量和所述第二變換向量進行向量拼接，得到所述合并向量；或者，

對所述第一變換向量和所述第二變換向量進行加權(quán)平均合并，得到所述合并向量。