[發明專利]改進的橫向同步聯邦學習聚合加速方法

在審

• 申請號: 202310721384.5
• 申請日: 2023-06-16
• 公開（公告）號: CN116629350A
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 王鑫;丁雪爽;吳浩宇;雷濤
• 申請（專利權）人: 陜西科技大學
• 主分類號: G06N3/098
• 分類號: G06N3/098;G06N3/082;H04L67/568;H04L67/01;H04L67/1095
• 代理公司: 西安智大知識產權代理事務所 61215
• 代理人: 段俊濤

1.橫向同步聯邦學習聚合加速方法，其特征在于，步驟如下：

步驟1，客戶端接收服務器發送的全局模型和客戶端貢獻值；

步驟2，客戶端使用本地數據集訓練局部模型，并計算散度閾值，準備發送訓練完成的局部模型；

步驟3，客戶端利用差值矩陣與梯度壓縮算法優化局部模型，并發送優化的局部模型至服務器，服務器將接收的所有模型存入緩沖區，并計算信息熵；

步驟4，服務器計算上一輪客戶端的貢獻值，并保存信息熵，服務器從緩沖區取出所有局部模型，并基于局部模型的貢獻值加權聚合得到新的全局模型；

步驟5，服務器向客戶端發送上一輪的貢獻值和新的全局模型，客戶端接收服務器發送的全局模型，進行下一輪訓練。

2.根據權1所述橫向同步聯邦學習聚合加速方法，其特征在于，所述步驟1，全局模型由各個客戶端的局部模型聚合所得，過程為：客戶端利用本地數據集在本地進行訓練得到局部模型，局部模型基于深度梯度壓縮算法和散度閾值的更新標準后，被上傳至服務器緩存區，再通過各個客戶端所得到貢獻值對上傳至服務器緩沖區的局部模型進行聚合加權，得到新一輪的全局模型；所述客戶端貢獻值基于D-S證據理論計算得到，表示上一輪客戶端對于全局模型的貢獻程度，在聯邦學習開始時，參與訓練的客戶端被分配一個平均的貢獻值；在服務器聚合階段，服務器獲取每個客戶端的相關參數，包括客戶端數據集所占全體數據集的比值大小，上一輪客戶端的貢獻值，客戶端訓練的局部模型與全局模型的散度，以及客戶端至今一共參與訓練的輪數。

3.根據權1所述橫向同步聯邦學習聚合加速方法，其特征在于，所述步驟2，不同的客戶端具有不同數據種類、大小的本地數據集合，彼此不共享數據。

4.根據權1所述橫向同步聯邦學習聚合加速方法，其特征在于，所述步驟2，散度閾值的計算方法如下：

在局部模型訓練階段，客戶端計算局部模型的散度閾值來判斷局部模型的更新是否充分，都更新足夠充分時，客戶端才會向服務器發送局部模型，負責繼續局部訓練；

每當第i個參與聯邦學習訓練的客戶端Party?i完成一輪的局部迭代時，通過計數器記錄局部模型的迭代輪次n，并通過計算客戶端Party?i的散度閾值，當參與方完成了一個批次的局部模型迭代后，并且散度閾值滿足條件式：時，客戶端Party?i才發送局部模型至服務器；

式中，n表示客戶端局部訓練輪次，字符Δ表示模型的散度閾值，其上標為i，Δⁱ代表第個客戶端局部模型的散度值，w表示聯邦學習模型，表示第i個客戶端在第t輪所訓練的局部模型，w^*表示參考模型，γ_i表示客戶端Party?i的貢獻值，描述局部模型與參考模型之間的距離。

5.根據權4所述橫向同步聯邦學習聚合加速方法，其特征在于，在橫向同步聯邦學習中，將訓練的全局輪次和局部輪次設定為固定值，全局輪次表示服務器全局模型更新的次數，局部輪次表示客戶端利用本地數據集在全局模型的基礎上訓練得到局部模型而更新的次數；

參與訓練的所有客戶端都滿足散度閾值條件且局部訓練輪次達到設定的固定值輪次后，即可將局部模型上傳至服務器緩沖區，完成當前輪次的局部模型訓練。

6.根據權1所述橫向同步聯邦學習聚合加速方法，其特征在于，所述步驟3，優化局部模型的方法如下：

(1)客戶端計算差值矩陣，設每輪參與訓練的客戶端有M個，i∈[1,M]，M為參與訓練的客戶端最大個數，在局部模型與全局模型之間的差異較小時，即ε為任意常數趨近于0，客戶端依舊向服務器發送本地訓練的局部模型會造成通信資源的浪費，讓客戶端僅發送局部模型與全局模型的差值來減少發送至服務器的數據量，即客戶端發送全局模型與局部模型的差值矩陣至服務器；

(2)通過深度梯度壓縮算法，并將計算結果發送至服務器端，引入一種深度梯度壓縮策略，選定一個壓縮閾值常數th，訓練過程中先不發送數值較小的中間值，而是將其保存下來與下一輪的矩陣同位置的中間值累加，當該中間值足夠大即中間值th時，再向服務器發送該中間值。