[發明專利]一種基于聯盟博弈的簇聯邦學習方法

有效

• 申請號: 202210656857.3
• 申請日: 2022-06-08
• 公開（公告）號: CN115118591B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 夏文超;徐波;趙海濤;張暉;倪藝洋;蔡艷;朱洪波
• 申請（專利權）人: 南京郵電大學
• 主分類號: H04L41/0823
• 分類號: H04L41/0823;H04L41/0896;H04L41/16;G06N20/00
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 樓然

1.一種基于聯盟博弈的簇聯邦學習方法，其特征在于，包括以下步驟：

步驟一、在物聯網邊緣環境下搭建簇聯邦學習系統；

步驟二、基于用戶本地梯度的余弦相似度以及每個簇內成功參與訓練的設備個數定義每個簇的效用；基于聯盟博弈的方法對用戶設備進行分簇，同時優化帶寬分配；

步驟三、基于分簇結果執行簇聯邦學習訓練；

所述的簇聯邦學習系統包含多個用戶設備和一個中心服務器，其中用戶設備數目為K，用戶設備集合定義為用戶設備的本地數據集為訓練樣本數目為D_k；設備分簇之后的簇結構為其中為簇索引；簇中的設備集合表示為其中如果設備則有a_k,s＝1，否則a_k,s＝0；簇模型集合表示為設備k在簇模型w_s的訓練損失為F_k(w_s)，則簇聯邦學習的訓練目標為

每一個訓練周期設備消耗的時間包括本地計算時延和梯度上傳時延，其中：

設備k本地訓練時延可以用負指數分布表示為

其中ψ是預留本地訓練的時間，χ和是與時延分布相關的參數；

設備k的模上傳時延為

其中，M是上傳梯度的大小，是上傳速率，其中b_k是帶寬，p_k是傳輸功率，h_k是信道增益，N₀是背景噪聲；每個簇的總帶寬為B；

只有簇內設備數目大于1時候簇內的設備才需要上傳本地模型到中心服務器，否則這些設備只需要進行本地訓練；

簇s的效用主要受簇內設備的余弦相似度以及簇內成功參與訓練的設備個數影響，該效用可以表示為

其中，ρ是權重系數，表示設備k本地模型在訓練周期r被中心服務器成功接收，否則

2.根據權利要求1所述的一種基于聯盟博弈的簇聯邦學習方法，其特征在于，給定簇結構Π下，為最大化每個簇的效用，設備的帶寬為

其中是朗伯W函數，τ^max是每個周期的時延預算，滿足

3.根據權利要求1所述的一種基于聯盟博弈的簇聯邦學習方法，其特征在于，在訓練周期r內，設備基于對應的簇模型計算本地梯度并將其發送給中心服務器；其中簇s初始化的簇模型可以表示為

其中η是學習率；

中心服務器根據分簇的結果已經接收到的本地模型計算各個簇的簇模型

每個周期的結束階段，中心服務器將更新后的簇模型廣播給對應簇內的設備，用于下一個周期的訓練。

4.根據權利要求1所述的一種基于聯盟博弈的簇聯邦學習方法，其特征在于，若每個設備不與其他設備組成簇時可以單獨看成是一個簇，并且該簇的效用設定為1，為最大化每個簇的平均效用，則采用下述基于聯盟博弈的分布式分簇方法進行分簇：

在一個迭代周期內，每個設備離開當前所在的簇s并選擇另外一個簇s≠s'，所選擇的簇s'在設備k加入后的效用為并且滿足

如果設備所加入的簇可以獲得比設備加入前更大的效用，則簇s'允許設備k加入；

如果系統中沒有設備愿意離開當前簇并加入其他簇，則表示簇結構穩定；

上述步驟需重復多次直到沒有用戶設備能夠離開當前所在的簇；并且計算簇的效用的同時需要優化帶寬資源。