[發(fā)明專利]聯(lián)邦模型的訓(xùn)練方法、裝置和電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202110839499.5
• 申請日: 2021-07-23
• 公開（公告）號: CN113592097A
• 公開（公告）日: 2021-11-02
• 發(fā)明（設(shè)計）人: 馮澤瑾;楊愷;陳忠;范昊;陳曉霖;王虎;黃志翔;彭南博
• 申請（專利權(quán)）人: 京東科技控股股份有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 張夢瑤

1.一種聯(lián)邦模型的訓(xùn)練方法，其特征在于，應(yīng)用于業(yè)務(wù)方，所述方法包括：

基于樣本標(biāo)簽信息和樣本特征信息，協(xié)同數(shù)據(jù)方進行聯(lián)邦模型的訓(xùn)練，以獲取聯(lián)邦模型的中間結(jié)果，其中，所述聯(lián)邦模型的中間結(jié)果包括每個所述樣本對應(yīng)的損失函數(shù)的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)；

對所述樣本的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)進行聯(lián)合加密，以得到所述樣本對應(yīng)的加密導(dǎo)數(shù)；

將所述樣本對應(yīng)的加密導(dǎo)數(shù)發(fā)送至數(shù)據(jù)方，其中，所述樣本對應(yīng)的加密導(dǎo)數(shù)用于生成加密導(dǎo)數(shù)聚合值；

接收所述數(shù)據(jù)方發(fā)送的加密導(dǎo)數(shù)聚合值，并根據(jù)所述加密導(dǎo)數(shù)聚合值進一步更新所述聯(lián)邦模型的參數(shù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述樣本的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)進行聯(lián)合加密，以得到所述樣本對應(yīng)的加密導(dǎo)數(shù)，包括：

對所述樣本的所述一階導(dǎo)數(shù)和所述二階導(dǎo)數(shù)分別進行編碼；

將編碼后的所述一階導(dǎo)數(shù)和所述二階導(dǎo)數(shù)進行拼接，得到所述樣本對應(yīng)的拼接導(dǎo)數(shù)；

對所述樣本對應(yīng)的拼接導(dǎo)數(shù)進行加密，以得到所述樣本對應(yīng)的加密導(dǎo)數(shù)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對所述樣本的所述一階導(dǎo)數(shù)和所述二階導(dǎo)數(shù)分別進行編碼，包括：

獲取預(yù)設(shè)編碼策略，其中，所述預(yù)設(shè)編碼策略包括預(yù)設(shè)符號位、預(yù)設(shè)編碼位數(shù)、預(yù)設(shè)編碼方式；

從所述預(yù)設(shè)符號位中獲取所述一階導(dǎo)數(shù)和所述二階導(dǎo)數(shù)的目標(biāo)符號位；

基于所述目標(biāo)符號位、所述預(yù)設(shè)編碼位數(shù)，按照所述預(yù)設(shè)編碼方式對所述一階導(dǎo)數(shù)和所述二階導(dǎo)數(shù)分別進行編碼。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述樣本的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)進行聯(lián)合加密之前，還包括：

對所述導(dǎo)數(shù)進行梯度剪裁。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述對所述導(dǎo)數(shù)進行梯度剪裁，包括：

如果所述導(dǎo)數(shù)大于預(yù)設(shè)梯度范圍的上限值，則將所述導(dǎo)數(shù)轉(zhuǎn)換為所述上限值；或者，

如果所述導(dǎo)數(shù)小于所述預(yù)設(shè)梯度范圍的下限值，則將所述導(dǎo)數(shù)轉(zhuǎn)換為所述下限值。

6.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將編碼后的所述一階導(dǎo)數(shù)和所述二階導(dǎo)數(shù)進行拼接，得到所述樣本對應(yīng)的拼接導(dǎo)數(shù)，包括：

將編碼后的所述一階導(dǎo)數(shù)和所述二階導(dǎo)數(shù)進行拼接，得到所述樣本對應(yīng)的候選拼接導(dǎo)數(shù)；

在所述樣本對應(yīng)的候選拼接導(dǎo)數(shù)的預(yù)設(shè)位置添加預(yù)設(shè)標(biāo)識位，生成所述樣本對應(yīng)的拼接導(dǎo)數(shù)。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述預(yù)設(shè)位置包括所述候選拼接導(dǎo)數(shù)的前端位置、編碼后的所述一階導(dǎo)數(shù)和所述二階導(dǎo)數(shù)的拼接位置、所述候選拼接導(dǎo)數(shù)的尾端位置中的至少一種。

8.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述加密導(dǎo)數(shù)聚合值進一步更新所述聯(lián)邦模型的參數(shù)，包括：

將所述加密導(dǎo)數(shù)聚合值進行解密，并將解密后的加密導(dǎo)數(shù)聚合值進行解碼，以獲取對應(yīng)的導(dǎo)數(shù)聚合值；

基于所述導(dǎo)數(shù)聚合值進一步更新所述聯(lián)邦模型的參數(shù)。

9.根據(jù)權(quán)利要求1-8任一項所述的方法，其特征在于，所述聯(lián)邦模型為聯(lián)邦安全提升樹模型。

10.一種聯(lián)邦模型的訓(xùn)練方法，其特征在于，應(yīng)用于數(shù)據(jù)方，所述方法包括：

基于樣本特征信息，協(xié)同業(yè)務(wù)方進行聯(lián)邦模型的訓(xùn)練；

接收所述業(yè)務(wù)方發(fā)送的所述樣本對應(yīng)的加密導(dǎo)數(shù)；

根據(jù)多個樣本對應(yīng)的加密導(dǎo)數(shù)，生成所述多個樣本對應(yīng)的加密導(dǎo)數(shù)聚合值；

將所述加密導(dǎo)數(shù)聚合值發(fā)送至所述業(yè)務(wù)方，其中，所述加密導(dǎo)數(shù)聚合值用于更新所述聯(lián)邦模型的參數(shù)。