[發(fā)明專(zhuān)利]雙層公平聯(lián)邦學(xué)習(xí)方法、裝置和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110448566.0
• 申請(qǐng)日: 2021-04-25
• 公開(kāi)（公告）號(hào): CN113095513A
• 公開(kāi)（公告）日: 2021-07-09
• 發(fā)明（設(shè)計(jì)）人: 李曉麗;陳川;鄭子彬
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中山大學(xué)
• 主分類(lèi)號(hào): G06N20/20
• 分類(lèi)號(hào): G06N20/20
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 張建

1.一種雙層公平聯(lián)邦學(xué)習(xí)方法，其特征在于，包括如下步驟：

獲取多個(gè)客戶端的局部模型；

中央服務(wù)端對(duì)所有局部模型進(jìn)行聚合處理，得到全局模型；

每一所述客戶端分別依據(jù)所述全局模型對(duì)對(duì)應(yīng)的局部模型進(jìn)行約束處理，使對(duì)應(yīng)的局部模型的模型參數(shù)接近所述全局模型的模型參數(shù)，以得到對(duì)應(yīng)的新的局部模型；

所述中央服務(wù)端依據(jù)所有新的局部模型更新所述全局模型。

2.如權(quán)利要求1所述的雙層公平聯(lián)邦學(xué)習(xí)方法，其特征在于，所述獲取多個(gè)客戶端的局部模型，具體包括如下步驟：

每一客戶端分別搜集對(duì)應(yīng)的內(nèi)部數(shù)據(jù)，所述內(nèi)部數(shù)據(jù)為非獨(dú)立同分布數(shù)據(jù)；

對(duì)每一客戶端的內(nèi)部數(shù)據(jù)進(jìn)行模型訓(xùn)練，以構(gòu)建對(duì)應(yīng)的局部模型。

3.如權(quán)利要求1所述的雙層公平聯(lián)邦學(xué)習(xí)方法，其特征在于，所述中央服務(wù)端依據(jù)所有新的局部模型更新所述全局模型，之前還包括：

依據(jù)每一客戶端的內(nèi)部數(shù)據(jù)對(duì)對(duì)應(yīng)的新的局部模型進(jìn)行迭代訓(xùn)練。

4.如權(quán)利要求1所述的雙層公平聯(lián)邦學(xué)習(xí)方法，其特征在于，所述內(nèi)部數(shù)據(jù)包括當(dāng)前客戶端的歷史內(nèi)部數(shù)據(jù)和最新的內(nèi)部數(shù)據(jù)。

5.如權(quán)利要求1所述的雙層公平聯(lián)邦學(xué)習(xí)方法，其特征在于，所述每一所述客戶端分別依據(jù)所述全局模型對(duì)對(duì)應(yīng)的局部模型進(jìn)行約束處理，使對(duì)應(yīng)的局部模型的模型參數(shù)接近所述全局模型的模型參數(shù)，以得到對(duì)應(yīng)的新的局部模型，具體包括：

依據(jù)所述全局模型對(duì)每一所述客戶端對(duì)應(yīng)的局部模型添加對(duì)應(yīng)的修正變量，以使對(duì)應(yīng)的局部模型的模型參數(shù)接近所述全局模型的模型參數(shù)，以得到對(duì)應(yīng)的新的局部模型。

6.如權(quán)利要求5所述的雙層公平聯(lián)邦學(xué)習(xí)方法，其特征在于，將第i個(gè)客戶端的損失函數(shù)定義為其中，W_i為第i個(gè)客戶端對(duì)應(yīng)的局部模型，X_i為第i個(gè)客戶端的輸入數(shù)據(jù)，Y_i為第i個(gè)客戶端對(duì)應(yīng)X_i的真實(shí)標(biāo)簽，F(xiàn)為中央服務(wù)端以基尼系數(shù)為測(cè)度的目標(biāo)函數(shù)，f為客戶端的目標(biāo)函數(shù)，將第i個(gè)客戶端的對(duì)應(yīng)的局部模型對(duì)應(yīng)的修正變量定義為則第i個(gè)客戶端被約束處理后的損失函數(shù)為其中，W為全局模型。

7.如權(quán)利要求6所述的雙層公平聯(lián)邦學(xué)習(xí)方法，其特征在于，所述中央服務(wù)端依據(jù)公式將所有新的局部模型更新所述全局模型，其中，W^(t)為迭代第t次后的全局模型，W^(t+1)為迭代第t+1次后的全局模型，K為客戶端的總數(shù)量，W_i^(t)為第i個(gè)客戶端迭代第t次后對(duì)應(yīng)的局部模型，λ為聚合參數(shù)。

8.如權(quán)利要求7所述的雙層公平聯(lián)邦學(xué)習(xí)方法，其特征在于，所述中央服務(wù)端依據(jù)所有新的局部模型更新所述全局模型，具體包括：

所述中央服務(wù)端依據(jù)所有新的局部模型以模型距離無(wú)關(guān)性或模型性能公平性更新所述全局模型；

所述中央服務(wù)端依據(jù)所有新的局部模型以模型距離無(wú)關(guān)更新所述全局模型時(shí)，所述中央服務(wù)端依據(jù)公式將所有新的局部模型更新所述全局模型，其中，D_i為W_i和W之間的距離；

所述中央服務(wù)端依據(jù)所有新的局部模型以模型性能公平性更新所述全局模型時(shí)，依據(jù)不同客戶端的性能差異將λ定義為或其中，l_i為第i個(gè)客戶端的損失，l為所有客戶端的平均損失。

9.一種雙層公平聯(lián)邦學(xué)習(xí)裝置，其特征在于，包括：

獲取模塊，用于獲取多個(gè)客戶端的局部模型；

聚合模塊，用于中央服務(wù)端對(duì)所有局部模型進(jìn)行聚合處理，得到全局模型；

約束模塊，用于每一所述客戶端分別依據(jù)所述全局模型對(duì)對(duì)應(yīng)的局部模型進(jìn)行約束處理，使對(duì)應(yīng)的局部模型的模型參數(shù)接近所述全局模型的模型參數(shù)，以得到對(duì)應(yīng)的新的局部模型；

更新模塊，用于所述中央服務(wù)端依據(jù)所有新的局部模型更新所述全局模型。

10.一種存儲(chǔ)介質(zhì)，用于存儲(chǔ)計(jì)算機(jī)程序，其特征在于：所述程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1～8中任一項(xiàng)所述的雙層公平聯(lián)邦學(xué)習(xí)方法。