[發(fā)明專利]聯(lián)邦學習中多用戶梯度置換的聚合方法

有效

• 申請?zhí)枺?/td>: 202110257594.4
• 申請日: 2021-03-09
• 公開（公告）號: CN112906052B
• 公開（公告）日: 2022-12-23
• 發(fā)明（設計）人: 楊力;秦文靜;李成;于源;李茜;賈竣博;劉澤宇;楊高磊;馬卓茹;王志鑫;應世睿
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06N20/00
• 代理公司: 陜西電子工業(yè)專利中心 61205
• 代理人: 王品華;田文英

1.一種聯(lián)邦學習中多用戶梯度置換的聚合方法，其特征在于，加密聚合比例，用戶對梯度進行加權，置換加權梯度，該方法的步驟包括如下：

(1)利用同態(tài)加密算法中的密鑰生成操作，生成服務器的公鑰和私鑰；

(2)服務器用每個用戶的樣本數(shù)量除以所有用戶的樣本總數(shù)，得到該用戶的聚合比例；

(3)加密聚合比例：

服務器使用同態(tài)加密算法中的加密操作，使用公鑰對每個用戶的聚合比例進行加密，將加密后的密文發(fā)送給該用戶；

(4)每個用戶對每個梯度加權：

(4a)服務器將模型參數(shù)集合下發(fā)給每個用戶，每個用戶根據(jù)各自的訓練樣本進行梯度計算，得到該用戶的每個梯度；

(4b)按照下式，每個用戶對其每個梯度進行加權操作：

其中，表示第i個用戶的第j個加權梯度，表示第i個用戶的聚合比例的密文，p_i表示第i個用戶的聚合比例，*表示數(shù)乘操作，表示第i個用戶的第j個梯度，1≤i≤n，1≤j≤m，n表示用戶的總數(shù)，m表示每個用戶梯度的總數(shù)；

(5)置換加權梯度：

(5a)第i個用戶從其未選的加權梯度中選取一個加權梯度其中，表示第i個用戶的第k個加權梯度；

(5b)第i個用戶從其余用戶中隨機選擇一個用戶，將與置換，其中，表示第j個用戶的第k個加權梯度；

(5c)判斷每個用戶置換加權梯度的總數(shù)是否均達到其所有加權梯度總數(shù)的一半，若是，則執(zhí)行步驟(5d)，否則，在未置換完成的用戶中隨機選取一個用戶繼續(xù)執(zhí)行步驟(5a)；

(5d)每個用戶將其置換后以及未置換的所有梯度組成一個混淆梯度集，并上傳給服務器；

(6)利用聚合公式，服務器將所有用戶的混淆梯度集進行聚合，得到聚合后的全局梯度集；

(7)更新模型參數(shù)集合：

服務器使用同態(tài)加密算法中的解密操作，使用私鑰對每個全局梯度進行解密，并用解密后的結果更新步驟(4a)的模型參數(shù)集合，將其發(fā)送給每個用戶。

2.根據(jù)權利要求1所述的聯(lián)邦學習中多用戶梯度置換的聚合方法，其特征在于：步驟(1)和步驟(4a)中所述的樣本包括圖形、文本和語音。

3.根據(jù)權利要求1所述的聯(lián)邦學習中多用戶梯度置換的聚合方法，其特征在于：步驟(6)和步驟(7)中所述的全局梯度指的是服務器聚合所有用戶的梯度之后的結果。

4.根據(jù)權利要求1所述的聯(lián)邦學習中多用戶梯度置換的聚合方法，其特征在于：步驟(6)中所述的聚合公式如下：

其中，g'_j表示聚合后的第j個全局梯度，表示第i個用戶的第j個混淆梯度，1≤i≤n，1≤j≤h，h表示每個用戶混淆梯度的總數(shù)。