[發(fā)明專利]一種基于云邊端的聯(lián)邦學(xué)習(xí)計(jì)算卸載計(jì)算系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110089708.9
• 申請(qǐng)日: 2021-01-22
• 公開(kāi)（公告）號(hào): CN112817653A
• 公開(kāi)（公告）日: 2021-05-18
• 發(fā)明（設(shè)計(jì)）人: 伍衛(wèi)國(guó);張祥俊;柴玉香;楊詩(shī)園;王雄
• 申請(qǐng)（專利權(quán)）人: 西安交通大學(xué)
• 主分類號(hào): G06F9/445
• 分類號(hào): G06F9/445;G06F9/48;G06F9/50;G06F9/54
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 姚詠華

1.一種基于云邊端的聯(lián)邦學(xué)習(xí)計(jì)算卸載資源分配方法，其特征在于，包括以下步驟：

S1，構(gòu)建全局模型，并將初始化的全局模型和任務(wù)廣播給任務(wù)選擇的本地設(shè)備；

S2，基于初始化的全局模型，每個(gè)本地設(shè)備分別使用其本地?cái)?shù)據(jù)和本地設(shè)備參數(shù)更新迭代本地模型參數(shù)，當(dāng)達(dá)到設(shè)定迭代次數(shù)后，將所有本地設(shè)備計(jì)算的梯度數(shù)據(jù)超過(guò)閾值的重要梯度對(duì)應(yīng)的本地模型參數(shù)進(jìn)行邊緣參數(shù)聚合，根據(jù)邊緣參數(shù)聚合結(jié)果參數(shù)更新全局模型參數(shù)后將更新后的全局模型反饋至各本地設(shè)備；

S3，當(dāng)邊緣參數(shù)聚合達(dá)到設(shè)定聚合次數(shù)后，進(jìn)行一次云參數(shù)聚合；

S4，重復(fù)步驟S2-S3直到全局損失函數(shù)收斂或者達(dá)到設(shè)定的訓(xùn)練精度，完成全局模型訓(xùn)練；

S6，利用訓(xùn)練完成的全局模型對(duì)每一個(gè)計(jì)算卸載任務(wù)的信息量進(jìn)行預(yù)測(cè)得到計(jì)算卸載的數(shù)據(jù)量的大小，根據(jù)計(jì)算卸載的數(shù)據(jù)量的大小以成本最小化進(jìn)行資源分配。

2.根據(jù)權(quán)利要求1所述的一種基于云邊端的聯(lián)邦學(xué)習(xí)計(jì)算卸載資源分配方法，其特征在于，本地設(shè)備分別使用其本地?cái)?shù)據(jù)和本地設(shè)備參數(shù)更新本地模型參數(shù)：

t為當(dāng)前迭代指標(biāo)，i為第i個(gè)本地設(shè)備，在當(dāng)前迭代指標(biāo)t中本地設(shè)備i的目標(biāo)是尋找使損失函數(shù)最小的最優(yōu)參數(shù)

3.根據(jù)權(quán)利要求1所述的一種基于云邊端的聯(lián)邦學(xué)習(xí)計(jì)算卸載資源分配方法，其特征在于，當(dāng)達(dá)到設(shè)定迭代次數(shù)后，將所有本地設(shè)備計(jì)算的梯度數(shù)據(jù)超過(guò)閾值的重要梯度上傳到邊緣服務(wù)器。

4.根據(jù)權(quán)利要求1所述的一種基于云邊端的聯(lián)邦學(xué)習(xí)計(jì)算卸載資源分配方法，其特征在于，云參數(shù)聚合具體過(guò)程如下公式：

{D^ζ}表示邊緣服務(wù)器ζ下聚集的數(shù)據(jù)集，卸載任務(wù)的數(shù)據(jù)集以的形式分布在N個(gè)客戶端上，其中|D_i|，|D|分別表示本地訓(xùn)訓(xùn)練樣本i和總的訓(xùn)練樣本數(shù)量。

5.根據(jù)權(quán)利要求1所述的一種基于云邊端的聯(lián)邦學(xué)習(xí)計(jì)算卸載資源分配方法，其特征在于，迭代過(guò)程中進(jìn)行參數(shù)稀疏化，采用標(biāo)準(zhǔn)的分散隨機(jī)梯度下降方法，本地設(shè)備通過(guò)本地?cái)?shù)據(jù)集D_i更新本地參數(shù)為

t表示當(dāng)前迭代，w_t表示參數(shù)w在迭代t的值；f(x，w_t)表示由輸入數(shù)據(jù)x和當(dāng)前參數(shù)w_t計(jì)算的損失；g_k，t表示節(jié)點(diǎn)k在t次迭代關(guān)于w_t的梯度；sparse(g_k，t)表示g_k，t的稀疏梯度；其中η是學(xué)習(xí)率，表示從客戶端i的一個(gè)小批量數(shù)據(jù)樣本得到的梯度f(wàn)_i(w)的估計(jì)；即：

6.根據(jù)權(quán)利要求5所述的一種基于云邊端的聯(lián)邦學(xué)習(xí)計(jì)算卸載資源分配方法，其特征在于，在每次迭代t開(kāi)始時(shí)，在工作節(jié)點(diǎn)k上，從當(dāng)前參數(shù)w_t和從本地?cái)?shù)據(jù)塊B_k，t采樣的數(shù)據(jù)計(jì)算出損失f(x，w_t)后，可求得梯度f(wàn)(x，w_t)，令f(x，w_t)，B_k，t為工作節(jié)點(diǎn)k的本地?cái)?shù)據(jù)塊，大小為b；按絕對(duì)值對(duì)每個(gè)參數(shù)的梯度元素進(jìn)行排序，將計(jì)算的梯度數(shù)據(jù)超過(guò)閾值的重要梯度上傳到邊緣服務(wù)器。

7.根據(jù)權(quán)利要求1所述的一種基于云邊端的聯(lián)邦學(xué)習(xí)計(jì)算卸載資源分配方法，其特征在于，利用與資源分配約束相關(guān)聯(lián)的對(duì)偶變量進(jìn)行一維雙截面搜索實(shí)現(xiàn)資源分配。