[發(fā)明專(zhuān)利]一種基于信道與局部模型更新結(jié)合的設(shè)備調(diào)度方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202211422803.7
• 申請(qǐng)日: 2022-11-15
• 公開(kāi)（公告）號(hào): CN115767758A
• 公開(kāi)（公告）日: 2023-03-07
• 發(fā)明（設(shè)計(jì)）人: 張帆;王昆侖;萬(wàn)俊杰
• 申請(qǐng)（專(zhuān)利權(quán)）人: 華東師范大學(xué)
• 主分類(lèi)號(hào): H04W72/566
• 分類(lèi)號(hào): H04W72/566;H04W72/1263;H04B17/391;H04B17/382
• 代理公司: 上海藍(lán)迪專(zhuān)利商標(biāo)事務(wù)所(普通合伙) 31215
• 代理人: 徐筱梅;張翔

本發(fā)明公開(kāi)了一種基于信道與局部模型更新結(jié)合的設(shè)備調(diào)度方法，涉及聯(lián)邦學(xué)習(xí)領(lǐng)域和用戶調(diào)度領(lǐng)域，在局部模型聚合時(shí)采用空中計(jì)算提高通信效率，通過(guò)優(yōu)化接收端波束成形向量降低空中計(jì)算過(guò)程中產(chǎn)生的聚合誤差，然后提出了一種同時(shí)考慮信道與局部模型更新的設(shè)備調(diào)度方法，在調(diào)度的設(shè)備數(shù)量固定時(shí)，本發(fā)明與現(xiàn)有技術(shù)相比，能夠降低計(jì)算和通信開(kāi)銷(xiāo)，提升模型訓(xùn)練速度，進(jìn)而取得更好的學(xué)習(xí)性能。

技術(shù)領(lǐng)域

本發(fā)明涉及無(wú)線通信領(lǐng)域，特別是涉及一種基于信道與局部模型更新結(jié)合的設(shè)備調(diào)度方法。

背景技術(shù)

近年來(lái)，由于機(jī)器學(xué)習(xí)技術(shù)的突破和算力水平的提高，以及數(shù)據(jù)量的爆炸式增長(zhǎng)，使得自動(dòng)駕駛和虛擬現(xiàn)實(shí)等人工智能應(yīng)用日益成為現(xiàn)實(shí)。典型的機(jī)器學(xué)習(xí)技術(shù)通常以集中處理的方式進(jìn)行模型訓(xùn)練，即智能移動(dòng)設(shè)備生成的原始數(shù)據(jù)直接發(fā)送到集中的云數(shù)據(jù)中心，大量的數(shù)據(jù)傳輸必定會(huì)引起網(wǎng)絡(luò)堵塞，導(dǎo)致較高的延遲，原始數(shù)據(jù)的傳輸也會(huì)造成隱私泄露問(wèn)題。另一方面，基站和手機(jī)、平板電腦等邊緣移動(dòng)設(shè)備的計(jì)算能力日益先進(jìn)，使得在網(wǎng)絡(luò)邊緣端完成計(jì)算成為可能，基于此，聯(lián)邦學(xué)習(xí)訓(xùn)練框架被提出。在聯(lián)邦學(xué)習(xí)中，只有經(jīng)過(guò)訓(xùn)練的模型或模型梯度被傳輸，涉及隱私的數(shù)據(jù)還保留在邊緣移動(dòng)設(shè)備端，因此可以起到保護(hù)隱私和節(jié)省通信資源的作用。

為了進(jìn)一步提高聯(lián)邦學(xué)習(xí)過(guò)程中通信頻譜資源的利用率，人們將空中計(jì)算與聯(lián)邦學(xué)習(xí)相結(jié)合。空中計(jì)算是指利用信道的疊加特性完成聯(lián)邦學(xué)習(xí)訓(xùn)練過(guò)程中梯度的聚合，由于在傳輸過(guò)程中就完成了一部分計(jì)算，因此也可以起到降低時(shí)延的作用。

聯(lián)邦學(xué)習(xí)中的用戶調(diào)度是一個(gè)研究熱點(diǎn)。通常有大量的邊緣設(shè)備連接到參數(shù)服務(wù)器上，但考慮到通信負(fù)載和設(shè)備能耗，在每輪訓(xùn)練中只有部分邊緣設(shè)備與參數(shù)服務(wù)器交互。在基于空中計(jì)算的聯(lián)邦學(xué)習(xí)中，對(duì)用戶進(jìn)行調(diào)度通常會(huì)考慮信道和局部模型更新兩個(gè)條件,傳統(tǒng)的將信道與局部模型更新結(jié)合的方法是先根據(jù)信道增益進(jìn)行設(shè)備選擇，選擇出的設(shè)備都進(jìn)行局部訓(xùn)練，再根據(jù)局部訓(xùn)練結(jié)果調(diào)度更少的一部分設(shè)備，這會(huì)導(dǎo)致一部分設(shè)備進(jìn)行了局部訓(xùn)練但沒(méi)有被選擇，浪費(fèi)了這些設(shè)備的能量。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于提供一種基于信道與局部模型更新結(jié)合的設(shè)備調(diào)度方法，該方法針對(duì)基于空中計(jì)算的聯(lián)邦學(xué)習(xí)系統(tǒng)，通過(guò)優(yōu)化邊緣移動(dòng)設(shè)備的調(diào)度來(lái)提高模型訓(xùn)練效果。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

步驟1：構(gòu)建聯(lián)邦學(xué)習(xí)系統(tǒng)

在一個(gè)邊緣智能場(chǎng)景中，有K個(gè)單天線的邊緣移動(dòng)設(shè)備，表示為K＝{1,2,…,K}及一個(gè)配有M根天線的參數(shù)服務(wù)器，每個(gè)邊緣移動(dòng)設(shè)備k∈K都有本地?cái)?shù)據(jù)集D_k,|D_k|表示數(shù)據(jù)集D_k的樣本數(shù)量，聯(lián)邦學(xué)習(xí)中由參數(shù)服務(wù)器和邊緣移動(dòng)設(shè)備共同訓(xùn)練一個(gè)全局模型ω，聯(lián)邦學(xué)習(xí)訓(xùn)練過(guò)程是一個(gè)循環(huán)的過(guò)程，每一輪循環(huán)稱(chēng)為一個(gè)訓(xùn)練輪次，每一個(gè)訓(xùn)練輪次得到新的全局模型，使用ω^t表示第t個(gè)訓(xùn)練輪次得到的全局模型，ω⁰代表未經(jīng)過(guò)聯(lián)邦學(xué)習(xí)訓(xùn)練的初始全局模型，ω^t-1代表上一個(gè)訓(xùn)練輪次得到的全局模型，構(gòu)得聯(lián)邦學(xué)習(xí)系統(tǒng)；

步驟2：結(jié)合信道與局部模型更新兩個(gè)參數(shù)，參數(shù)服務(wù)器調(diào)度參與訓(xùn)練的邊緣移動(dòng)設(shè)備；

步驟3：參數(shù)服務(wù)器將上一次循環(huán)得到的全局模型ω^t-1下發(fā)給所有被調(diào)度的邊緣移動(dòng)設(shè)備；

步驟4：被調(diào)度的邊緣移動(dòng)設(shè)備采用隨機(jī)梯度下降算法進(jìn)行局部訓(xùn)練，得到各自的局部梯度；

步驟5：被調(diào)度的邊緣移動(dòng)設(shè)備將得到的局部梯度上傳至參數(shù)服務(wù)器，更新全局模型，得到ω^t，上傳局部梯度的過(guò)程采用空中計(jì)算，并對(duì)空中計(jì)算進(jìn)行優(yōu)化；

循環(huán)執(zhí)行步驟2-5，直到全局模型ω^t收斂。

進(jìn)一步的，所述步驟2具體包括：