[發明專利]一種用于異構數據的聯邦學習方法及系統

在審

• 申請號: 202210143482.0
• 申請日: 2022-02-16
• 公開（公告）號: CN114611718A
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 張勇;張曌
• 申請（專利權）人: 蘇州網智通科技有限公司
• 主分類號: G06N20/20
• 分類號: G06N20/20;G06F9/50
• 代理公司: 北京金咨知識產權代理有限公司 11612
• 代理人: 宋教花

1.一種用于異構數據的聯邦學習方法，其特征在于，所述方法基于分布式架構，所述分布式架構包括服務器端和與服務器端相連接的多個節點端，所述方法的步驟包括，

在每個節點端對該節點端中的計算模型進行本地訓練，所述本地訓練包括至少一次迭代，在每次迭代的過程中基于每個預設節點端預設的訓練數據集計算交叉熵損失值，基于當前節點端的計算模型在本次迭代計算中的模型參數值以及其他節點端的計算模型在前一輪迭代計算中的模型參數值，計算模型參數差異值；

基于模型參數差異值和交叉熵損失值計算當前節點端的計算模型的損失函數值，所述損失函數值用于計算下一次迭代的模型參數值，以最后一次迭代計算出的損失函數值計算出的模型參數值為第一模型參數，完成本地訓練；

基于第一模型參數和當前節點端的計算模型代入第一次迭代計算的初始模型參數計算第一參數差，將計算模型中每個初始模型參數對應的第一參數差進行數據壓縮，得到第二參數差，所述第二參數差上傳至服務器端，將每個節點端上傳至服務器端的第二參數差進行平均聚合處理，得到第三參數差，將第三參數差進行數據壓縮，得到第四參數差，并將第四參數差傳輸至節點端；

基于所述第四參數差更新所述初始模型參數，得到第二模型參數，完成本輪訓練。

2.根據權利要求1所述的用于異構數據的聯邦學習方法，其特征在于，基于當前節點端的計算模型在本次迭代計算中的模型參數值以及其他節點端的計算模型在前一輪迭代計算中的模型參數值，計算模型參數差異值的步驟還包括，采用梯度下降法基于當前節點端的計算模型在前一輪迭代計算中的模型參數值計算在本次迭代計算中的模型參數值。

3.根據權利要求2所述的用于異構數據的聯邦學習方法，其特征在于，根據如下公式，采用梯度下降法基于當前節點端的計算模型在前一輪迭代計算中的模型參數值計算在本次迭代計算中的模型參數值：

表示當前的第i個節點端的計算模型在第t輪計算第z次迭代計算中第k個模型參數的模型參數值，表示當前的第i個節點端的計算模型在第t輪計算第z-1次迭代計算中第k個模型參數的模型參數值，α表示學習率，表示當前的第i個節點端的計算模型在第t輪計算第z-1次迭代計算中第k個模型參數對應的梯度值。

4.根據權利要求1所述的用于異構數據的聯邦學習方法，其特征在于，根據如下公式，基于模型參數差異值和交叉熵損失值計算當前節點端的計算模型的損失函數值：

表示當前的第i個節點端的計算模型在第t輪第z次迭代計算中的損失函數值，D_i表示當前的第i個節點端預設的訓練數據集，表示當前的第i個節點端預設的訓練數據集在第t輪第z次迭代計算中的交叉熵損失值，表示模型參數差異值，λ表示平衡因子，取值在(0,1]之間，j表示第j個節點端，N表示節點端總數，k表示計算模型中的第k個模型參數，表示第t-1輪時第j個節點端的計算模型中第k個參數的重要性參數，表示當前的第i個節點端的計算模型在第t輪計算第z次迭代計算中第k個模型參數的模型參數值，表示第j個節點端在第t-1輪計算得出的用于代入第t輪第一次迭代計算的初始模型參數值，A表示第i個節點端的計算模型中的模型參數的總數，參數k為A個模型參數中的一個。

5.根據權利要求4所述的用于異構數據的聯邦學習方法，其特征在于，根據如下公式計算所述重要性參數：

表示第t-1輪時第j個節點端的計算模型中第k個參數的重要性參數，max表示取最大值，表示第j個節點端的計算模型中的第k個參數在第t-1輪計算本地訓練的時間段內模型參數值的變化量，ζ避免分母為零的阻尼系數，表示第j個節點端的計算模型中的第k個參數在第t-1輪計算的重要性參數的預估值。