[發(fā)明專利]一種高效通信的分層聯(lián)邦學(xué)習(xí)框架及其優(yōu)化方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010929585.0
• 申請(qǐng)日: 2020-09-07
• 公開（公告）號(hào): CN112070240B
• 公開（公告）日: 2022-10-14
• 發(fā)明（設(shè)計(jì)）人: 張堯?qū)W;鄧永恒;呂豐;任炬
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué);中南大學(xué)
• 主分類號(hào): G06N20/20
• 分類號(hào): G06N20/20;G06F30/27;G06F111/04
• 代理公司: 長(zhǎng)沙朕揚(yáng)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 43213
• 代理人: 何湘玲

1.一種高效通信的分層聯(lián)邦學(xué)習(xí)框架的優(yōu)化方法，其特征在于，

所述分層聯(lián)邦學(xué)習(xí)框架，包括：一個(gè)云聚合器、多個(gè)邊緣聚合器和多個(gè)分布式計(jì)算節(jié)點(diǎn)；每個(gè)云聚合器與多個(gè)邊緣聚合器關(guān)聯(lián)，每個(gè)邊緣聚合器與兩個(gè)以上的分布式計(jì)算節(jié)點(diǎn)關(guān)聯(lián)；所述邊緣聚合器從候選邊緣聚合器中選取，所述候選邊緣聚合器從多個(gè)分布式計(jì)算節(jié)點(diǎn)中選取；

在每輪云聚合迭代中，邊緣聚合器首先從云聚合器下載全局學(xué)習(xí)模型，每個(gè)分布式計(jì)算節(jié)點(diǎn)從其關(guān)聯(lián)的邊緣聚合器下載全局學(xué)習(xí)模型，用本地?cái)?shù)據(jù)訓(xùn)練模型，再將模型更新上傳到關(guān)聯(lián)的邊緣聚合器；邊緣聚合器聚合接收到的來自相關(guān)聯(lián)的兩個(gè)以上的分布式計(jì)算節(jié)點(diǎn)的模型更新并聚合，將聚合后的模型發(fā)送回關(guān)聯(lián)的計(jì)算節(jié)點(diǎn)，以進(jìn)行下一輪次的邊緣聚合迭代；

每個(gè)邊緣聚合器經(jīng)過多次邊緣聚合迭代后，將邊緣模型更新上傳到云聚合器；云聚合器將來自多個(gè)邊緣聚合器的多個(gè)邊緣模型聚合后得到全局模型，并將全局模型更新發(fā)送回所有的邊緣聚合器，以進(jìn)行下一輪次的云聚合迭代；

重復(fù)邊緣聚合以及云聚合迭代，直至全局模型達(dá)到目標(biāo)精度；

所述優(yōu)化方法，包括以下步驟：

將計(jì)算節(jié)點(diǎn)與邊緣聚合器之間以及邊緣聚合器與云聚合器之間在整個(gè)分布式學(xué)習(xí)期間的總通信開銷最小作為所述分層聯(lián)邦學(xué)習(xí)框架的優(yōu)化目標(biāo)；定義為通信開銷最小化問題；

將所述通信開銷最小化問題轉(zhuǎn)化為兩個(gè)子問題：在每一輪次的云聚合中，通過決策X和Y來最小化移動(dòng)計(jì)算節(jié)點(diǎn)、邊緣聚合器和云聚合器之間的總通信成本；以及通過決策X和Y來最小化邊緣聚合器的數(shù)據(jù)分布和均勻分布之間的平均相對(duì)熵；

并通過參數(shù)γ調(diào)整總通信成本與平均相對(duì)熵之間的權(quán)重；

求解所述通信開銷最小化問題，獲得最優(yōu)的計(jì)算節(jié)點(diǎn)和邊緣聚合器的關(guān)聯(lián)組合，以及最佳邊緣聚合器集合。

2.根據(jù)權(quán)利要求1所述的高效通信的分層聯(lián)邦學(xué)習(xí)框架的優(yōu)化方法，其特征在于，所述通信開銷最小化問題的目標(biāo)函數(shù)如下：

min_X，YJ_c(X，Y)+γJ_d(X，Y)， (12)

上述的目標(biāo)函數(shù)滿足以下約束：

其中，是分布式計(jì)算節(jié)點(diǎn)的數(shù)量，二進(jìn)制變量x_e∈{0，1}用來標(biāo)志候選邊緣節(jié)點(diǎn)是否被選作邊緣聚合器，等于1表示e被選作邊緣聚合器，否則為0；二進(jìn)制變量y_ne∈{0，1}用來標(biāo)志分布式計(jì)算節(jié)點(diǎn)是否被關(guān)聯(lián)到邊緣聚合器e，關(guān)聯(lián)為1，否則為0；min_X，YJ_c(X，Y)為通過決策X和Y來最小化移動(dòng)計(jì)算節(jié)點(diǎn)、邊緣聚合器和云聚合器之間的總通信成本；J_d(X，Y)為通過決策X和Y來最小化邊緣聚合器的數(shù)據(jù)分布和均勻分布之間的平均相對(duì)熵；

約束(4)要求不能選擇候選邊緣聚合器以外的節(jié)點(diǎn)作為邊緣聚合器；

約束(5)要求每個(gè)分布式計(jì)算節(jié)點(diǎn)必須與一個(gè)且僅能與一個(gè)邊緣聚合器關(guān)聯(lián)；

約束(6)要求每個(gè)分布式計(jì)算節(jié)點(diǎn)只能與已被選為邊緣聚合器的候選節(jié)點(diǎn)相關(guān)聯(lián)；

約束(7)限制每個(gè)邊緣聚合器e最多能與B_e個(gè)計(jì)算節(jié)點(diǎn)相關(guān)聯(lián)。

3.根據(jù)權(quán)利要求2所述的高效通信的分層聯(lián)邦學(xué)習(xí)框架的優(yōu)化方法，其特征在于，在每一輪次的云聚合中，通過決策X和Y來最小化移動(dòng)計(jì)算節(jié)點(diǎn)、邊緣聚合器和云聚合器之間的總通信成本，目標(biāo)函數(shù)如下：

s.t.constraints：(4)，(5)，(6)，(7)，(8)，(9)

其中，κ_c為邊緣聚合的次數(shù)，c_ne為節(jié)點(diǎn)n將模型更新上傳到它關(guān)聯(lián)的邊緣聚合器e的通信開銷；c_ec為邊緣聚合器e將邊緣模型更新上傳到云聚合器的通信開銷。