[發明專利]一種聯邦學習本地模型更新參數聚合方法

有效

• 申請號: 202210568921.2
• 申請日: 2022-05-24
• 公開（公告）號: CN115021905B
• 公開（公告）日: 2023-01-10
• 發明（設計）人: 王偉;葉珩;劉吉強
• 申請（專利權）人: 北京交通大學
• 主分類號: H04L9/08
• 分類號: H04L9/08;H04L9/40;G06N20/00
• 代理公司: 北京市商泰律師事務所 11255
• 代理人: 黃曉軍

1.一種聯邦學習本地模型參數聚合方法，其特征在于，包括：

聯邦學習的中心服務器初始化全局模型，將最新的全局模型參數進行發布；

聯邦學習的各個客戶端向中心服務器請求用于計算掩碼的秘密，各個客戶端接收服務器下發的用于計算掩碼的秘密，并獲取中心服務器發布的全局模型參數；

各個客戶端使用本地數據，在全局模型參數基礎上進行本地訓練，獲得本地模型更新參數；

各個客戶端利用秘密計算出掩碼，向中心服務器上傳利用自己的掩碼隱私保護處理后的本地模型更新參數；

中心服務器將所有帶掩碼的客戶端本地模型更新參數進行聚合，消除客戶端上傳的本地模型更新參數所帶掩碼，獲取全局模型更新參數，進行全局模型更新；

所述的聯邦學習的中心服務器初始化全局模型，將最新的全局模型參數進行發布，包括：

定義聯邦學習系統中有一個中心服務和m個客戶端，各個客戶端分別標號為1，…，m，w_i表示當前訓練輪次客戶端i對全局模型訓練后的本地模型更新參數，中心服務器維護適配相關任務的機器學習模型，在每輪訓練開始時，聯邦學習的中心服務器初始化全局模型，生成和分發新一輪的全局聯邦學習模型；

所述的聯邦學習的各個客戶端向中心服務器請求用于計算掩碼的秘密，各個客戶端接收服務器下發的用于計算掩碼的秘密，并獲取中心服務器發布的全局模型參數，包括：

各個客戶端向中心服務器提出掩碼需求，中心服務器中的可信模塊選取秘密fi與隨機數種子r_i，中心服務器將秘密f_i與隨機數種子r_i下發給客戶端i；

中心服務器隨機選取y_i＜f₁，利用中國剩余定理計算C≡y₁g₁st₁+y₂g₂st₂+…+y_mg_mst_m，f₁、f₂、...、f_m為定兩兩互質的正整數，y₁、y₂、...、y_m為任意整數，F＝Πf_i，g_i＝F/f_i，g_ist_i≡1mod f_i，中心服務器每次更新最新全局模型參數時，將F，C作為公共參數一并發布；

所述的各個客戶端使用本地數據，在全局模型參數基礎上進行本地訓練，獲得本地模型更新參數，包括：

各個客戶端使用本地數據在聯邦學習最新全局模型的公共參數F，C的基礎上，計算得出本地模型更新參數w_i，神經網絡模型為O，本地數據為D，t表示當前訓練輪數，i為客戶端編號，為求導，L為模型定義的算法，O_t+1＝O_t+ηw_t，w_t為全局模型更新參數，η為學習率；

所述的各個客戶端利用秘密計算出掩碼，向中心服務器上傳利用自己的掩碼隱私保護處理后的本地模型更新參數，包括：

各個客戶端使用中國剩余定理計算y_i＝C mod f₁，mask₁＝y_ig_ist_i，mask₂＝PRG(r_i)，各個客戶端獲得當前輪次自身應使用的掩碼mask＝mask₁+mask₂；

各個客戶端向中心服務器上傳的信息為k_i＝w_i+mask；

所述的中心服務器將所有客戶端帶掩碼的本地模型更新參數進行聚合，消除客戶端上傳的本地模型更新參數所帶掩碼，獲取全局模型更新參數，進行全局模型更新，包括：

中心服務器聚合所有客戶端上傳的帶掩碼的本地模型更新參數，中心服務器消除客戶端上傳的本地模型更新參數所帶掩碼，獲取全局模型更新參數，計算得到∑w_i＝∑k_i-C-∑PRG(r_i)，中心服務器使用計算獲得的全局模型更新參數w_t＝∑w_i/m來更新全局模型，并分發新一輪的全局聯邦學習模型；

當客戶端斷線時，中心服務器在聚合后統計斷線客戶端列表，統一向可信模塊查詢后消除斷線客戶端掩碼。