[發明專利]一種基于電力數據的聯邦學習模型訓練方法

有效

• 申請號: 202211711600.X
• 申請日: 2022-12-29
• 公開（公告）號: CN116227621B
• 公開（公告）日: 2023-10-24
• 發明（設計）人: 龐博;張凌浩;唐超;梁暉輝;常政威;陳玉敏;魏陽;代宇涵;莊惠鈞;胡春強
• 申請（專利權）人: 國網四川省電力公司電力科學研究院
• 主分類號: G06N20/00
• 分類號: G06N20/00;H04L9/30;H04L9/40;G06Q50/06
• 代理公司: 重慶西南華渝專利代理有限公司 50270
• 代理人: 陳麗梅

1.一種基于電力數據的聯邦學習模型訓練方法，其特征在于，包括以下步驟：

服務器設定初始模型和訓練參數并發送至客戶端，訓練參數包括服務器控制變量和總迭代次數；

客戶端設定本地控制變量，基于本地控制變量、服務器控制變量和訓練步驟對初始模型進行更新獲得本地模型，對本地模型進行剪裁處理、加噪處理和加密處理獲得密文模型；將密文模型和本地控制變量傳輸至服務器；

服務器根據密文模型獲得聚合模型，判斷當前迭代次數小于總迭代次數時，更新服務器控制變量，將聚合模型和更新后的服務器控制變量發送至客戶端，將聚合模型作為初始模型在客戶端開啟新一輪的訓練步驟；服務器判斷當前迭代次數等于總迭代次數時，輸出聚合模型。

2.如權利要求1所述的一種基于電力數據的聯邦學習模型訓練方法，其特征在于，更新服務器控制變量的步驟具體為：使用第一更新公式對服務器控制變量進行更新，第一更新公式如下：

其中，i表示第i個客戶端，N表示參加訓練的客戶端的數量和，表示第i個客戶端的本地控制變量，c′表示更新后的服務器控制變量。

3.如權利要求1或2所述的一種基于電力數據的聯邦學習模型訓練方法，其特征在于，根據密文模型獲得聚合模型步驟具體為：根據聚合公式和密文模型獲得聚合模型；聚合公式具體為：

其中，t表示第t次迭代，W^(t+1)表示第t+1次迭代時的聚合模型，[]表示該模型經加密處理，i表示第i個客戶端，N表示參加訓練的客戶端的數量和，p_i表示第i個客戶端的權重比，表示經過第t次迭代時第i個客戶端的密文模型。

4.如權利要求3所述的一種基于電力數據的聯邦學習模型訓練方法，其特征在于，將密文模型和本地控制變量傳輸至服務器的步驟具體為：將本地電力數據集大小、密文模型和本地控制變量傳輸至服務器；本地電力數據集為客戶端用于本地模型訓練的電力數據集；

客戶端的權重比根據以下公式獲得：

D＝|D₁|+|D₂|+…+|D_i|

其中，D₁為第1個客戶端的電力數據集大小，D₂為第2個客戶端的電力數據集大小，D_i為第i個客戶端的電力數據集大小，D為參加訓練的所有客戶端的電力數據集大小總和。

5.如權利要求1、2或4所述的一種基于電力數據的聯邦學習模型訓練方法，其特征在于，通過可信機構生成公鑰和私鑰，將公鑰和私鑰發送至參加訓練的客戶端；客戶端使用公鑰對傳送至服務器的本地模型、電力數據集大小和本地控制變量進行加密。

6.如權利要求1、2或4所述的一種基于電力數據的聯邦學習模型訓練方法，其特征在于，訓練步驟包括：將初始模型向前傳播，并反向計算得到本地梯度；根據本地梯度、本地學習率、服務器控制變量和本地控制變量對初始模型進行更新獲得本地模型，更新公式如下：

其中，W_i^(t)表示第t次迭代時第i個客戶端的本地模型，表示第t次迭代時第i個客戶端的初始模型，η_l表示本地學習率，g_i(W_i^(t))表示第t次迭代時第i個客戶端的本地梯度，c_i表示第i個客戶端的本地控制變量，c表示服務器控制變量；

對本地模型依次進行剪裁處理、加噪處理和加密處理，獲得密文模型，更新本地控制變量。

7.如權利要求6所述的一種基于電力數據的聯邦學習模型訓練方法，其特征在于，剪裁處理的步驟具體為：使用自適應剪裁公式對本地模型進行剪裁，自適應剪裁公式如下：

其中，i表示第i個客戶端，t表示第t次迭代，W_i^(t)表示第t次迭代時第i個客戶端本地模型，表示第t次迭代時第i個客戶端剪裁后的本地模型。