[發明專利]一種基于聯邦學習的模型訓練方法

有效

• 申請號: 201911285233.X
• 申請日: 2019-12-13
• 公開（公告）號: CN110955907B
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 王力;陳超超;周俊
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F21/60
• 分類號: G06F21/60;G06F21/62;G06N20/00
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 周嗣勇

公開了一種基于聯邦學習的模型訓練方法。為了保護服務端的隱私(模型參數)不泄露，服務端采用同態加密算法對模型參數集合進行加密后下發給節點，節點基于同態加密原理，使用加密后的模型參數與本地訓練樣本進行加密狀態下的模型計算，得到加密梯度。隨后，節點基于同態加密原理，計算加密梯度與加密隨機數的差，這個差實質上是加密的某個無意義的值。接著，節點將加密后的值上傳給服務端。此外，服務端可以利用SA協議，在不獲知每個節點上的隨機數的前提下，獲知各節點上的隨機數之和。如此，服務端就可以根據每個節點上傳的加密后的值與各隨機數之和來還原出每個節點產生的梯度之和，從而可以更新模型參數。

技術領域

本說明書實施例涉及信息技術領域，尤其涉及一種基于聯邦學習的模型訓練方法。

背景技術

聯邦學習(Federated machine learning/Federated Learning)，是指一種機器學習框架，能有效幫助多個節點(可以代表個人或機構)在滿足數據隱私保護的要求下，聯合訓練模型。

在聯邦學習框架下，服務端下發模型參數給多個節點，每個節點將本地的訓練樣本輸入模型進行一次訓練，本次訓練結束后，每個節點會基于本次訓練結果計算得到的梯度。隨后，服務端基于安全聚合(SA，Secure Aggregation)協議，可以計算得到各節點的梯度之和。值得強調的是，服務端收到SA協議的限制，并不能獲得單個節點上傳的梯度。

如此，既可以使得服務端根據各節點上傳的梯度之和調整模型參數，又可以實現節點的數據隱私保護。

然而，在有些場景下，模型參數也不適合暴露給節點。

發明內容

為了解決聯邦學習框架下存在的模型參數難以保護的問題，本說明書實施例提供一種基于聯邦學習的模型訓練方法，技術方案如下：

根據本說明書實施例的第1方面，提供一種基于聯邦學習的模型訓練方法，應用于包括服務端與N個節點的聯邦學習系統，N＞1，所述方法包括：

在模型訓練的第i次迭代中，執行：

所述服務端基于同態加密算法E對模型參數集合θ進行加密，得到E(θ)，并將E(θ)下發給M_i個節點；其中，M_i≤N，所述Mi個節點中存在Q_i個目標類型節點；

第j個目標類型節點根據E(θ)與本地訓練樣本，進行加密狀態下的模型計算，得到加密梯度E(w_ij)；其中，j＝(1,2，…，Q_i)；

第j個目標類型節點確定隨機數r_j，并計算E(w_ij)-E(r_ij)，得到E(s_ij)，以及，向所述服務端上傳E(s_ij)；

所述服務端根據E(s_ij)計算并基于安全聚合SA協議，計算

所述服務端計算得到并基于更新θ。

根據本說明書實施例的第2方面，提供一種聯邦學習系統，包括服務端與N個節點，N＞1；

所述服務端，在模型訓練的第i次迭代中，基于同態加密算法E對模型參數集合θ進行加密，得到E(θ)，并將E(θ)下發給M_i個節點，其中，M_i≤N，所述Mi個節點中存在Q_i個目標類型節點；