[發(fā)明專利]適用于人工智能物聯(lián)網(wǎng)異構(gòu)系統(tǒng)的自適應(yīng)聯(lián)邦學(xué)習(xí)方法

在審

• 申請?zhí)枺?/td>: 202211657566.2
• 申請日: 2022-12-22
• 公開（公告）號: CN116361639A
• 公開（公告）日: 2023-06-30
• 發(fā)明（設(shè)計）人: 王瑞錦;張鳳荔;周世杰;周潼;張志揚;賴金山;王金波;程帆;陳政;劉楠
• 申請（專利權(quán)）人: 電子科技大學(xué)
• 主分類號: G06F18/214
• 分類號: G06F18/214;G06N20/00
• 代理公司: 成都眾恒智合專利代理事務(wù)所(普通合伙) 51239
• 代理人: 王育信

1.適用于人工智能物聯(lián)網(wǎng)異構(gòu)系統(tǒng)的自適應(yīng)聯(lián)邦學(xué)習(xí)方法，其特征在于，包括以下步驟：

(1)處于云-邊-端三層聯(lián)邦學(xué)習(xí)架構(gòu)第三層的終端設(shè)備使用本地數(shù)據(jù)集進行本地模型訓(xùn)練，同時使用周期性策略進行更新；

(2)處于云-邊-端三層聯(lián)邦學(xué)習(xí)架構(gòu)第二層的邊緣服務(wù)器收集終端設(shè)備能夠?qū)嶋H負載的工作量，以及訓(xùn)練得到的模型參數(shù)和損失值，然后將收集的模型參數(shù)進行局部聚合，獲得局部聚合模型；同時邊緣服務(wù)器根據(jù)終端設(shè)備的歷史任務(wù)完成情況，預(yù)測終端設(shè)備未來可以承受的工作量，并根據(jù)上次訓(xùn)練的損失值、樣本數(shù)、訓(xùn)練次數(shù)信息對終端設(shè)備的訓(xùn)練價值進行評估，按照訓(xùn)練價值由高到低選出終端設(shè)備繼續(xù)參與下一輪訓(xùn)練；

(3)邊緣服務(wù)器將局部聚合模型和預(yù)測的工作量發(fā)送給選擇的終端設(shè)備；同時，邊緣服務(wù)器還將局部聚合模型參數(shù)發(fā)送至處于云-邊-端三層聯(lián)邦學(xué)習(xí)架構(gòu)第一層的云服務(wù)器；

(4)云服務(wù)器將收集的局部聚合模型參數(shù)進行全局聚合，獲得全局聚合模型，然后返回至邊緣服務(wù)器；

(5)根據(jù)步驟(3)選擇的終端設(shè)備，循環(huán)執(zhí)行步驟(1)～(4)，當(dāng)訓(xùn)練輪數(shù)達到預(yù)設(shè)輪次后，得到最終的全局模型。

2.根據(jù)權(quán)利要求1所述的適用于人工智能物聯(lián)網(wǎng)異構(gòu)系統(tǒng)的自適應(yīng)聯(lián)邦學(xué)習(xí)方法，其特征在于，所述步驟(2)中，邊緣服務(wù)器預(yù)測終端設(shè)備未來可以承受的工作量的過程如下：

(a)邊緣服務(wù)器根據(jù)第t輪終端設(shè)備k能夠?qū)嶋H負載工作量第t輪的簡單-困難任務(wù)對以及第t輪終端設(shè)備k經(jīng)過上一次不可負載后訓(xùn)練次數(shù)判斷是否大于困難任務(wù)所需工作量是，則將終端設(shè)備在第(t+1)輪可以承受的簡單-困難任務(wù)對預(yù)測為其中U是控制負載增量的參數(shù)，并將終端設(shè)備k能負載的工作量預(yù)測為同時將第(t+1)輪終端設(shè)備k經(jīng)過上一次不可負載后訓(xùn)練次數(shù)更新為然后將終端設(shè)備k放入下一輪訓(xùn)練待選擇終端設(shè)備中；否則，執(zhí)行步驟(b)；

(b)邊緣服務(wù)器判斷是否處于簡單-困難任務(wù)對范圍內(nèi)，是，則將終端設(shè)備在第(t+1)輪可以承受的簡單-困難任務(wù)對預(yù)測為并將終端設(shè)備k能負載的工作量預(yù)測為同時將第(t+1)輪終端設(shè)備k經(jīng)過上一次不可負載后訓(xùn)練次數(shù)更新為然后將終端設(shè)備k放入下一輪訓(xùn)練待選擇終端設(shè)備中；否則，執(zhí)行步驟(c)；

(c)邊緣服務(wù)器判定終端設(shè)備k當(dāng)前工作量不可負擔(dān)，并將終端設(shè)備在第(t+1)輪可以承受的簡單-困難任務(wù)對預(yù)測為同時將第(t+1)輪終端設(shè)備k經(jīng)過上一次不可負載后訓(xùn)練次數(shù)更新為0，然后將終端設(shè)備k放入下一輪訓(xùn)練待選擇終端設(shè)備中。

3.根據(jù)權(quán)利要求2所述的適用于人工智能物聯(lián)網(wǎng)異構(gòu)系統(tǒng)的自適應(yīng)聯(lián)邦學(xué)習(xí)方法，其特征在于，所述U的取值為6.4。

4.根據(jù)權(quán)利要求2或3所述的適用于人工智能物聯(lián)網(wǎng)異構(gòu)系統(tǒng)的自適應(yīng)聯(lián)邦學(xué)習(xí)方法，其特征在于，所述步驟(2)中，邊緣服務(wù)器選出終端設(shè)備繼續(xù)參與下一輪訓(xùn)練的過程如下：

(d)根據(jù)步驟(a)～(c)的更新結(jié)果，按照如下公式計算第t輪終端設(shè)備k的訓(xùn)練價值

式中，Samples_k為樣本數(shù)，α和β均為訓(xùn)練樣本系數(shù)，其值均為常數(shù)；

(e)邊緣服務(wù)器按照訓(xùn)練價值由高到低，依次選出n個終端設(shè)備繼續(xù)參與下一輪訓(xùn)練。

5.根據(jù)權(quán)利要求4所述的適用于人工智能物聯(lián)網(wǎng)異構(gòu)系統(tǒng)的自適應(yīng)聯(lián)邦學(xué)習(xí)方法，其特征在于，所述α的值為0.004；所述β的值為-0.06。