[發明專利]一種基于全局模型優化的聯邦學習方法、裝置和電子設備

在審

• 申請號: 202210541875.7
• 申請日: 2022-05-17
• 公開（公告）號: CN114818510A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 沈力;張琳;丁亮;陶大程
• 申請（專利權）人: 京東科技信息技術有限公司
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N3/08;G06F111/08;G06F119/10
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 董娜

本公開提供一種基于全局模型優化的聯邦學習方法、裝置和電子設備，所述方法包括：隨機選取至少一個客戶端作為目標客戶端，并將初始全局參量發送至目標客戶端，其中，初始全局參量包括：全局模型參數ω和生成器參數θ，服務器狀態c；接收目標客戶端發送的局部參量，其中，局部參量為目標客戶端根據初始全局參量對局部模型進行訓練生成；根據局部參量對全局模型中的全局模型參數ω和服務器狀態c進行更新；根據生成器參數θ生成偽數據，根據偽數據和局部參量對全局模型中的全局模型參數ω和生成器參數θ進行更新，并輸出更新后的全局模型參數ω，實現對聯邦學習中的全局模型進行優化的效果。

技術領域

本公開涉及人工智能技術領域，尤其涉及一種基于全局模型優化的聯邦學習方法、裝置和電子設備。

背景技術

近年來，人工智能技術越來越依賴大量的訓練數據。隨著各國數據管理政策的逐步完善，直接聚集和訪問隱私數據逐步被許多行業所禁止。在此背景下，由全局模型和局部模型組成的聯邦學習被提出，聯邦學習的主要難點之一是數據異構性。為了應對數據異構性，無數據知識蒸餾方法被提出。

目前的無數據知識蒸餾方法僅優化了局部模型，導致在數據異構場景中局部模型內的錯誤的知識，從而導致知識蒸餾過程中的模型性能下降。因此對聯邦學習中的全局模型進行優化是目前業界亟待解決的重要課題。

發明內容

本公開提供一種基于全局模型優化的聯邦學習方法，用以解決現有技術中缺少對聯邦學習中的全局模型進行優化的缺陷，實現對聯邦學習中的全局模型進行優化的效果。

本公開提供一種基于全局模型優化的聯邦學習，應用于聯邦學習系統，所述聯邦學習系統包括服務器和多個客戶端，所述服務器設置有全局模型，所述客戶端設置有局部模型；

所述方法應用于服務器，包括：

隨機選取至少一個客戶端作為目標客戶端，并將初始全局參量發送至所述目標客戶端，其中，所述初始全局參量包括：全局模型參數ω、生成器參數θ和服務器狀態c；

接收所述目標客戶端發送的局部參量，其中，所述局部參量為所述目標客戶端根據所述初始全局參量對所述局部模型進行訓練生成；

根據所述局部參量對所述全局模型中的所述全局模型參數ω和所述服務器狀態c進行更新；

根據所述生成器參數θ生成偽數據，根據所述偽數據和所述局部參量對所述全局模型中的所述全局模型參數ω和所述生成器參數θ進行更新，并輸出更新后的全局模型參數ω。

根據本公開提供的一種基于全局模型優化的聯邦學習方法，所述局部參量包括局部模型參數ω_k、客戶端狀態的差值Δc_k和客戶端數據集在各個類別上的數量n_k；

所述根據所述局部參量對所述全局模型中的所述全局模型參數ω和所述服務器狀態c進行更新，包括：

根據所述局部模型參數ω_k、所述客戶端狀態的差值Δc_k和所述客戶端數據集在各個類別上的數量n_k，更新所述全局模型參數ω和所述服務器狀態c。

根據本公開提供的一種基于全局模型優化的聯邦學習方法，所述根據所述生成器參數θ生成偽數據，根據所述偽數據和所述局部參量對所述全局模型中的所述全局模型參數ω和所述生成器參數θ進行更新，并輸出更新后的全局模型參數ω，包括：

根據所述生成器參數θ生成偽數據，利用所述偽數據、所述局部模型參數ω_k和所述客戶端數據集在各個類別上的數量n_k對所述全局模型進行訓練并更新所述全局模型參數ω和所述生成器參數θ，并輸出更新后的全局模型參數ω。