[發明專利]一種基于聯邦學習的模型訓練方法

有效

• 申請號: 201911285233.X
• 申請日: 2019-12-13
• 公開（公告）號: CN110955907B
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 王力;陳超超;周俊
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F21/60
• 分類號: G06F21/60;G06F21/62;G06N20/00
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 周嗣勇

1.一種基于聯邦學習的模型訓練方法，應用于包括服務端與N個節點的聯邦學習系統，N＞1，所述方法包括：

在模型訓練的第i次迭代中，執行：

所述服務端基于同態加密算法E對模型參數集合θ進行加密，得到E(θ)，并將E(θ)下發給M_i個節點；其中，M_i≤N，所述M_i個節點中存在Q_i個目標類型節點；

第j個目標類型節點根據E(θ)與本地訓練樣本，進行加密狀態下的模型計算，得到加密梯度E(w_ij)；其中，j＝(1,2，…，Q_i)；

第j個目標類型節點確定隨機數 r_ij ，并計算E(w_ij)-E(r_ij)，得到E(s_ij)，以及，向所述服務端上傳E(s_ij)；w_ij＝r_ij+s_ij；

所述服務端根據E(s_ij)計算并基于安全聚合SA協議，計算

所述服務端計算得到并基于更新θ。

2.如權利要求1所述的方法，針對所述M_i個節點中的任一節點，若該節點在接收到E(θ)之后，繼續處于在線狀態直至第i次迭代結束，則該節點屬于目標類型節點。

3.如權利要求2所述的方法，所述服務端根據E(s_ij)計算具體包括：

所述服務端若確定Q_i≥T_i，則根據E(s_ij)計算其中，T_i為：第i次迭代中，SA協議指定的M_i個節點中處于在線狀態的節點的數量的下限值；

所述方法還包括：

所述服務端若確定Q_i＜T_i，則停止本次迭代，并進入下一次迭代。

4.如權利要求1所述的方法，所述服務端根據E(s_ij)計算具體包括：

所述服務端對E(s_ij)進行解密，得到s_ij，進而得到

或者，所述服務端計算進而解密得到

5.如權利要求1所述的方法，用于訓練線性回歸模型。

6.如權利要求1～5任一項所述的方法，所述模型對應的輸入數據包括：圖像或文本或語音。

7.如權利要求6所述的方法，所述文本包含實體對象信息。

8.一種聯邦學習系統，包括服務端與N個節點，N＞1；

所述服務端，在模型訓練的第i次迭代中，基于同態加密算法E對模型參數集合θ進行加密，得到E(θ)，并將E(θ)下發給M_i個節點，其中，M_i≤N，所述Mi個節點中存在Q_i個目標類型節點；

第j個目標類型節點，根據E(θ)與本地訓練樣本，進行加密狀態下的模型計算，得到加密梯度E(w_ij)，其中，j＝(1,2，…，Q_i)；確定隨機數r_ij，并計算E(w_ij)-E(r_ij)，得到E(s_ij)，以及，向所述服務端上傳E(s_ij)；w_ij＝r_ij+s_ij；

所述服務端，還根據E(s_ij)計算并基于安全聚合SA協議，計算計算得到并基于更新θ。