[發明專利]一種聯邦學習本地模型更新參數聚合方法

有效

• 申請號: 202210568921.2
• 申請日: 2022-05-24
• 公開（公告）號: CN115021905B
• 公開（公告）日: 2023-01-10
• 發明（設計）人: 王偉;葉珩;劉吉強
• 申請（專利權）人: 北京交通大學
• 主分類號: H04L9/08
• 分類號: H04L9/08;H04L9/40;G06N20/00
• 代理公司: 北京市商泰律師事務所 11255
• 代理人: 黃曉軍

本發明提供了一種聯邦學習本地模型參數聚合方法。該方法包括：聯邦學習的中心服務器初始化全局模型，將最新的全局模型參數進行發布；各個客戶端向中心服務器請求用于計算掩碼的秘密，各個客戶端接收服務器下發的用于計算掩碼的秘密；各個客戶端使用本地數據在全局模型參數基礎上進行本地訓練，獲得本地模型更新參數；各個客戶端利用秘密計算出掩碼，向中心服務器上傳利用自己的掩碼隱私保護處理后的本地模型更新參數；中心服務器聚合所有全局模型更新參數，統一消除客戶端上傳的本地模型更新參數所帶掩碼以獲得全局模型更新參數，使用全局模型更新參數進行全局模型更新。本發明方法在有效保護了聯邦學習客戶端上傳的隱私性的同時，取消了客戶端間的交互要求，極大提升了隱私保護的聯邦學習效率。

技術領域

本發明涉及聯邦學習參數聚合技術領域，尤其涉及一種聯邦學習本地模型參數聚合方法。

背景技術

聯邦學習(Federated Learning，FL)是一種機器學習框架，旨在盡可能使用不同分布的數據特性來進一步提高機器學習的模型可用性。聯邦學習使用不同設備的本地模型更新參數代替原始數據來進行模型訓練，不僅可以加快模型的訓練速度，還可以避免繁重的數據傳輸任務，降低原始數據的泄漏可能。

每一輪訓練，每個參與方上傳其本地訓練得到的模型更新參數，通過中心服務器進行聯邦平均獲得全局模型，然后下發到各個參與方進行下一輪的訓練。這樣，客戶端的數據不用離開本地，所有模型的訓練都在客戶端本地進行，以此保護客戶端的本地數據隱私。但是，由于基于模型更新參數逆向推理攻擊的出現，客戶端本地模型訓練完畢后得到的模型更新參數也需要經過隱私保護技術的處理才能上傳至云端。因此，開發一種高效、安全的聯邦學習本地模型參數聚合方法是非常重要且有意義的。

目前，現有技術中的一種隱私保護聯邦學習參數聚合方法包括：雙層掩碼聚合法。這里的雙層掩碼包括：客戶端間通過兩兩協商獲得的對稱可消去第一層掩碼；客戶端自身隨機生成的第二層掩碼。通過對本地模型更新參數進行掩碼保護，可以有效對實現對聯邦學習中隱私推理攻擊的防御。

該方法的處理過程包括：

第一步：中心服務器初始化全局模型，分發給各個客戶端。

第二步：各客戶端協商獲得第一層對稱掩碼，同時，隨機生成自身第二層掩碼。每個客戶端將這兩層掩碼與其余客戶端及中心服務器進行門限為t的m份秘密共享。

第三步：各客戶端使用本地數據在全局模型上計算得到最新本地模型更新參數。

第四步：各客戶端上傳本地模型更新參數至中心服務器，上傳時，使用掩碼對其進行保護。

第五步：中心服務器聚合所有客戶端的本地模型更新參數，消去掩碼后求平均以獲得全局模型更新參數。使用全局模型更新參數對全局模型進行更新后分發至所有客戶端以進行新一輪的聯邦學習。

上述現有技術中的一種隱私保護聯邦學習參數聚合方法的缺點為：客戶端間需要兩兩交互以協商獲得第一層對稱掩碼，交互需求較高。各客戶端還需要秘密共享自身兩層掩碼以支持中心服務器聚合時的掩碼消除功能。

發明內容

本發明的實施例提供了一種聯邦學習本地模型參數聚合方法，以實現有效對防御聯邦學習中隱私推理攻擊。

為了實現上述目的，本發明采取了如下技術方案。

一種聯邦學習本地模型參數聚合方法，包括：

聯邦學習的中心服務器初始化全局模型，將最新的全局模型參數進行發布；

聯邦學習的各個客戶端向中心服務器請求用于計算掩碼的秘密，各個客戶端接收服務器下發的用于計算掩碼的秘密，并獲取中心服務器發布的全局模型參數；

各個客戶端使用本地數據，在全局模型參數基礎上進行本地訓練，獲得本地模型更新參數；