[發(fā)明專利]一種高效通信的分層聯(lián)邦學(xué)習(xí)框架及其優(yōu)化方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010929585.0
• 申請(qǐng)日: 2020-09-07
• 公開(kāi)（公告）號(hào): CN112070240B
• 公開(kāi)（公告）日: 2022-10-14
• 發(fā)明（設(shè)計(jì)）人: 張堯?qū)W;鄧永恒;呂豐;任炬
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué);中南大學(xué)
• 主分類號(hào): G06N20/20
• 分類號(hào): G06N20/20;G06F30/27;G06F111/04
• 代理公司: 長(zhǎng)沙朕揚(yáng)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 43213
• 代理人: 何湘玲

本發(fā)明公開(kāi)了一種高效通信的分層聯(lián)邦學(xué)習(xí)框架及其優(yōu)化方法和系統(tǒng)，該框架包括：一個(gè)云聚合器、多個(gè)邊緣聚合器和多個(gè)分布式計(jì)算節(jié)點(diǎn)；在每輪云聚合迭代中，邊緣聚合器首先從云聚合器下載全局學(xué)習(xí)模型，每個(gè)分布式計(jì)算節(jié)點(diǎn)從其關(guān)聯(lián)的邊緣聚合器下載全局學(xué)習(xí)模型，訓(xùn)練模型更新上傳到關(guān)聯(lián)的邊緣聚合器；邊緣聚合器聚合接收模型更新并聚合發(fā)送回關(guān)聯(lián)的計(jì)算節(jié)點(diǎn)，經(jīng)過(guò)多次邊緣聚合迭代后，將邊緣模型更新上傳到云聚合器；云聚合器將多個(gè)邊緣模型聚合后得到全局模型更新發(fā)送回所有的邊緣聚合器；重復(fù)邊緣聚合以及云聚合迭代，直至全局模型達(dá)到目標(biāo)精度。該優(yōu)化方法采用通信開(kāi)銷最小化作為優(yōu)化目標(biāo)。本發(fā)明提高學(xué)習(xí)性能的同時(shí)，可降低系統(tǒng)的通信開(kāi)銷。

技術(shù)領(lǐng)域

本發(fā)明涉及大規(guī)模分布式邊緣智能框架的性能優(yōu)化技術(shù)，尤其涉及一種高效通信的分層聯(lián)邦學(xué)習(xí)框架及其優(yōu)化方法和系統(tǒng)。

背景技術(shù)

隨著移動(dòng)設(shè)備的普及率越來(lái)越高，網(wǎng)絡(luò)邊緣產(chǎn)生的數(shù)據(jù)日益增多。這些數(shù)據(jù)通常通過(guò)網(wǎng)絡(luò)傳輸?shù)皆贫思写鎯?chǔ)，借助機(jī)器學(xué)習(xí)算法，可以有效地提取出數(shù)據(jù)的特征，為智能服務(wù)的發(fā)展奠定了基礎(chǔ)。但是，移動(dòng)設(shè)備產(chǎn)生的數(shù)據(jù)大多是隱私數(shù)據(jù)，在網(wǎng)絡(luò)傳輸過(guò)程中面臨隱私泄露的風(fēng)險(xiǎn)。為了保護(hù)數(shù)據(jù)隱私，聯(lián)邦學(xué)習(xí)一改傳統(tǒng)的集中式學(xué)習(xí)模式，提出每個(gè)分布式計(jì)算節(jié)點(diǎn)利用本地?cái)?shù)據(jù)協(xié)作學(xué)習(xí)全局模型的新方法。這樣，數(shù)據(jù)不必離開(kāi)設(shè)備，只有計(jì)算節(jié)點(diǎn)學(xué)習(xí)到的模型更新被傳輸?shù)皆贫司酆?，然后更新云上的全局模型并將其發(fā)送回計(jì)算節(jié)點(diǎn)以進(jìn)行下一輪的學(xué)習(xí)。所以，聯(lián)邦學(xué)習(xí)可以在保護(hù)數(shù)據(jù)隱私的同時(shí)，不斷地提高全局模型的質(zhì)量。

在聯(lián)邦學(xué)習(xí)中，高效的通信對(duì)學(xué)習(xí)效率至關(guān)重要。因?yàn)樾枰銐蚨噍喆蔚脑贫四Ｐ途酆喜拍苁鼓Ｐ瓦_(dá)到令人滿意的精度。尤其是當(dāng)分布式計(jì)算節(jié)點(diǎn)的數(shù)據(jù)為非獨(dú)立同分布時(shí)，需要的聚合次數(shù)會(huì)更多。并且，通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，頻繁的模型更新對(duì)于優(yōu)化全局模型很重要。但矛盾的是，分布式的計(jì)算節(jié)點(diǎn)通常受限于通信、帶寬等資源，這使得它們難以與云端進(jìn)行頻繁的通信。另外，隨著學(xué)習(xí)模型的結(jié)構(gòu)變得越來(lái)越復(fù)雜(例如深度神經(jīng)網(wǎng)絡(luò))，模型更新的數(shù)據(jù)量顯著增長(zhǎng)，這更加劇了聯(lián)邦學(xué)習(xí)的通信開(kāi)銷。

目前已經(jīng)有一些關(guān)于提高聯(lián)邦學(xué)習(xí)通信效率的研究。例如，Alistarh等人提出模型更新壓縮方案以減少每輪的通信開(kāi)銷，但代價(jià)是模型精度和收斂速度等學(xué)習(xí)性能的降低。還有一些研究試圖減少模型達(dá)到目標(biāo)精度所需要的總聚合次數(shù)或者模型更新數(shù)量。例如，Wang等人提出了一種動(dòng)態(tài)識(shí)別不重要的模型更新的方案，以此減少模型更新的數(shù)量，提高通信效率；Ji等人提出可以動(dòng)態(tài)調(diào)整參與節(jié)點(diǎn)的數(shù)量并且摒棄掉不重要的模型更新。但是，為了保證學(xué)習(xí)性能，現(xiàn)有的研究對(duì)通信開(kāi)銷的改善仍然有限。并且他們?cè)谀Ｐ透碌倪x擇和排除方面可能會(huì)出現(xiàn)偏差，導(dǎo)致學(xué)習(xí)性能的下降。

為了向用戶提供更好的基于機(jī)器學(xué)習(xí)模型的智能服務(wù)，模型需要更好的學(xué)習(xí)性能。但是，達(dá)到令人滿意的學(xué)習(xí)性能需要足夠多輪次的網(wǎng)絡(luò)通信和模型聚合，這給計(jì)算節(jié)點(diǎn)和網(wǎng)絡(luò)都帶來(lái)了沉重的負(fù)擔(dān)。與現(xiàn)有的工作不同，本發(fā)明探索了一種完全不同的降低通信開(kāi)銷的方式，即將通信成本很高的模型聚合過(guò)程從云端遷移到邊緣進(jìn)行。節(jié)點(diǎn)、邊緣與云端構(gòu)成了一個(gè)分層聯(lián)邦學(xué)習(xí)框架，在此框架下研究了如何進(jìn)一步降低通信開(kāi)銷。

盡管在少數(shù)現(xiàn)有工作中提及了分層聯(lián)邦學(xué)習(xí)框架的概念，例如，Liu等人為分層聯(lián)邦學(xué)習(xí)框架設(shè)計(jì)了協(xié)同訓(xùn)練算法HierFAVG；Luo等人基于一個(gè)資源調(diào)度模型試圖降低分層聯(lián)邦學(xué)習(xí)框架的計(jì)算和通信成本。但是，在現(xiàn)有的工作中，分層聯(lián)邦學(xué)習(xí)框架的潛力尚沒(méi)有被充分挖掘，并且本發(fā)明考慮的通信開(kāi)銷最小化的問(wèn)題也鮮少被提及。

發(fā)明內(nèi)容

本發(fā)明提供了一種高效通信的分層聯(lián)邦學(xué)習(xí)框架及其優(yōu)化方法和系統(tǒng)，用以解決現(xiàn)有技術(shù)中為了保證學(xué)習(xí)性能，對(duì)通信開(kāi)銷的改善有限以及學(xué)習(xí)性能的下降的技術(shù)問(wèn)題。

為解決上述技術(shù)問(wèn)題，本發(fā)明提出的技術(shù)方案為：

一種高效通信的分層聯(lián)邦學(xué)習(xí)框架，包括：一個(gè)云聚合器、多個(gè)邊緣聚合器和多個(gè)分布式計(jì)算節(jié)點(diǎn)；每個(gè)云聚合器與多個(gè)邊緣聚合器關(guān)聯(lián)，每個(gè)邊緣聚合器與兩個(gè)以上的分布式計(jì)算節(jié)點(diǎn)關(guān)聯(lián)；