[發(fā)明專利]一種基于全局模型優(yōu)化的聯(lián)邦學(xué)習(xí)方法、裝置和電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202210541875.7
• 申請日: 2022-05-17
• 公開（公告）號: CN114818510A
• 公開（公告）日: 2022-07-29
• 發(fā)明（設(shè)計(jì)）人: 沈力;張琳;丁亮;陶大程
• 申請（專利權(quán)）人: 京東科技信息技術(shù)有限公司
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N3/08;G06F111/08;G06F119/10
• 代理公司: 北京路浩知識產(chǎn)權(quán)代理有限公司 11002
• 代理人: 董娜

1.一種基于全局模型優(yōu)化的聯(lián)邦學(xué)習(xí)方法，其特征在于，應(yīng)用于聯(lián)邦學(xué)習(xí)系統(tǒng)，所述聯(lián)邦學(xué)習(xí)系統(tǒng)包括服務(wù)器和多個客戶端，所述服務(wù)器設(shè)置有全局模型，所述客戶端設(shè)置有局部模型；

所述方法應(yīng)用于服務(wù)器，包括：

隨機(jī)選取至少一個客戶端作為目標(biāo)客戶端，并將初始全局參量發(fā)送至所述目標(biāo)客戶端，其中，所述初始全局參量包括：全局模型參數(shù)ω、生成器參數(shù)θ和服務(wù)器狀態(tài)c；

接收所述目標(biāo)客戶端發(fā)送的局部參量，其中，所述局部參量為所述目標(biāo)客戶端根據(jù)所述初始全局參量對所述局部模型進(jìn)行訓(xùn)練生成；

根據(jù)所述局部參量對所述全局模型中的所述全局模型參數(shù)ω和所述服務(wù)器狀態(tài)c進(jìn)行更新；

根據(jù)所述生成器參數(shù)θ生成偽數(shù)據(jù)，根據(jù)所述偽數(shù)據(jù)和所述局部參量對所述全局模型中的所述全局模型參數(shù)ω和所述生成器參數(shù)θ進(jìn)行更新，并輸出更新后的全局模型參數(shù)ω。

2.根據(jù)權(quán)利要求1所述的基于全局模型優(yōu)化的聯(lián)邦學(xué)習(xí)方法，其特征在于，所述局部參量包括局部模型參數(shù)ω_k、客戶端狀態(tài)的差值Δc_k和客戶端數(shù)據(jù)集在各個類別上的數(shù)量n_k；

所述根據(jù)所述局部參量對所述全局模型中的所述全局模型參數(shù)ω和所述服務(wù)器狀態(tài)c進(jìn)行更新，包括：

根據(jù)所述局部模型參數(shù)ω_k、所述客戶端狀態(tài)的差值Δc_k和所述客戶端數(shù)據(jù)集在各個類別上的數(shù)量n_k，更新所述全局模型參數(shù)ω和所述服務(wù)器狀態(tài)c。

3.根據(jù)權(quán)利要求2所述的基于全局模型優(yōu)化的聯(lián)邦學(xué)習(xí)方法，其特征在于，

所述根據(jù)所述生成器參數(shù)θ生成偽數(shù)據(jù)，根據(jù)所述偽數(shù)據(jù)和所述局部參量對所述全局模型中的所述全局模型參數(shù)ω和所述生成器參數(shù)θ進(jìn)行更新，并輸出更新后的全局模型參數(shù)ω，包括：

根據(jù)所述生成器參數(shù)θ生成偽數(shù)據(jù)，利用所述偽數(shù)據(jù)、所述局部模型參數(shù)ω_k和所述客戶端數(shù)據(jù)集在各個類別上的數(shù)量n_k對所述全局模型進(jìn)行訓(xùn)練并更新所述全局模型參數(shù)ω和所述生成器參數(shù)θ，并輸出更新后的全局模型參數(shù)ω。

4.根據(jù)權(quán)利要求3所述的基于全局模型優(yōu)化的聯(lián)邦學(xué)習(xí)方法，其特征在于，

所述根據(jù)所述生成器參數(shù)θ生成偽數(shù)據(jù)，利用所述偽數(shù)據(jù)、所述局部模型參數(shù)ω_k和所述客戶端數(shù)據(jù)集在各個類別上的數(shù)量n_k對所述全局模型進(jìn)行訓(xùn)練并更新所述全局模型參數(shù)ω和所述生成器參數(shù)θ，并輸出更新后的全局模型參數(shù)ω，包括：

根據(jù)所述客戶端數(shù)據(jù)集在各個類別上的數(shù)量n_k，計(jì)算采樣概率p_t(y)；

采樣隨機(jī)噪聲數(shù)據(jù)z，其中，所述隨機(jī)噪聲數(shù)據(jù)z符合高斯分布；

采樣隨機(jī)類別標(biāo)簽y，其中，所述隨機(jī)類別標(biāo)簽y服從所述采樣概率p_t(y)的概率分布；

根據(jù)所述客戶端數(shù)據(jù)集在各個類別上的數(shù)量n_k計(jì)算集成權(quán)重

根據(jù)所述隨機(jī)噪聲數(shù)據(jù)z、所述隨機(jī)類別標(biāo)簽y和所述生成器參數(shù)θ，生成初始第一偽數(shù)據(jù)，并根據(jù)所述采樣概率p_t(y)篩選所述初始第一偽數(shù)據(jù)，得到第一偽數(shù)據(jù)G(z,y；θ)；

根據(jù)所述第一偽數(shù)據(jù)G(z,y；θ)、所述全局模型參數(shù)ω和所述局部模型參數(shù)ω_k提取所述局部模型的知識，并使用所述集成權(quán)重加權(quán)，計(jì)算第一損失，反向傳播更新所述生成器參數(shù)θ；

根據(jù)所述隨機(jī)噪聲數(shù)據(jù)z、所述隨機(jī)類別標(biāo)簽y和所述生成器參數(shù)θ，生成初始第二偽數(shù)據(jù)，并根據(jù)所述采樣概率p_t(y)篩選所述初始第二偽數(shù)據(jù)，得到第二偽數(shù)據(jù)G₂(z,y；θ)；

根據(jù)所述第二偽數(shù)據(jù)G₂(z,y；θ)、所述全局模型參數(shù)ω和所述局部模型參數(shù)ω_k提取所述局部模型的知識，并使用所述集成權(quán)重加權(quán)，計(jì)算第二損失，反向傳播更新所述全局模型參數(shù)ω；

輸出更新后的全局模型參數(shù)ω。