[發明專利]一種邊緣聚合間隔自適應控制的分層聯邦學習方法、計算機設備、存儲介質

有效

• 申請號: 202110641363.3
• 申請日: 2021-06-09
• 公開（公告）號: CN113469325B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 夏文超;徐波;趙海濤;張暉;倪藝洋;蔡艷;朱洪波
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06N3/0464
• 分類號: G06N3/0464;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 羅運紅

1.一種邊緣聚合間隔自適應控制的分層聯邦學習方法，其特征在于，通過部署邊緣服務器協助聯邦學習訓練；云服務器根據當前的訓練情況，優化邊緣聚合間隔以及當前周期的訓練時延預算；根據優化之后的邊緣聚合間隔以及訓練時延預算，邊緣設備，邊緣服務器，云服務器協作地完成聯邦學學習訓練，具體步驟如下：

步驟1，搭建以邊緣設備，邊緣服務器，云服務器為元素的分層聯邦學習系統；該系統部署在無線環境中；其中包含多個邊緣設備，多個邊緣服務器，以及一個云服務器；邊緣設備集合定義為K＝{1,2,...k,...,K}，邊緣服務器集合定義為S＝{1,2,...s,...,S}；邊緣設備k本地的數據集為其中，i是樣本的索引，x_k,i是第i個輸入樣本，y_k,i是該樣本的標簽，D_k設訓練樣本的數目；由于邊緣服務器覆蓋范圍有限，每個邊緣服務器只關聯一部分的邊緣設備，定義被邊緣服務器s服務的設備集合為V_s；邊緣設備，邊緣服務器，云服務器協助地完成聯邦學習訓練，目標為訓練出模型w使得全局損失最小:

其中，是全局損失函數值，是總樣本，l(w,x_k,i,y_k,i)是邊緣設備k在給定模型w情況下在訓練數據{x_k,i,y_k,i}上的損函數失值，l是任意損失函數；

步驟2，聯邦學習的訓練過程是一個迭代過程，需要多個訓練周期，并且在每一個周期邊緣設備要進行多次本地訓練，邊緣設備利用自己的本地數據訓練本地模型，多次邊緣聚合，邊緣聚合就邊緣服務器對采集到的本地模型進行加權平均，邊緣設備將更新之后的本地模型上傳到與其相關聯的邊緣服務器，邊緣服務器對收集的邊緣模型進行加權平均運算生成新的邊緣模型，以及一次全局聚合，邊緣服務器將更新之后的邊緣模型上傳到云服務器，云服務器對收集的邊緣模型進行加權平均運算生成新的全局模型，訓練周期的集合定義R＝{1,2,..,r,...,R}，其中，R為總的訓練周期數，在訓練周期r的開始階段，云服務器根據當前訓練情況優化邊緣聚合間隔I^(r),該變量定義為訓練周期r中邊緣設備在兩次邊緣聚合之間本地訓練的次數；此外云服務器優化當前周期的訓練時延預算τ^(r)，該變量為訓練周期r消耗的時間；當前周期邊緣設備最多需要進行G次本地訓練，其中在訓練周期r，邊緣設備需要將本地模型上傳給邊緣服務器次，則訓練周期r內實際的本地訓練次數為：

由于當前周期的訓練時延預算已經給定，訓練周期r內兩次邊緣聚合之間的訓練時延預算為并且有些邊緣設備無法在兩次邊緣聚合之間完成本地訓練和模型上傳，用變量來表示邊緣設備k可以在兩次邊緣聚合之間的時間內完成本地訓練和模型上傳，反之來表示邊緣設備k無法在兩次邊緣聚合之間的時間內完成本地訓練和模型上傳，其中，1≤t^r≤G是邊緣設備k在訓練周期r進行本地訓練的次數的索引；

步驟3，具體訓練過程如下：

在訓練周期r，邊緣設備k基于自己的本地數據訓練本地模型；更新過程為：

其中，是在訓練周期r內第t^r次本地訓練后的本地模型，γ是學習率，是邊緣設備k在本地模型上基于本地數據訓練出的梯度，該更新過程所用的優化器為隨機梯度下降；經過I^(r)次本地訓練后，邊緣設備將更新之后的本地模型發送給與其相關聯的邊緣服務器進行邊緣聚合從而生成邊緣模型，邊緣服務器s的邊緣聚合的過程為：

其中，是在訓練周期r內第t^r次本地訓練后邊緣聚合更新的邊緣模型，用于表示邊緣設備k能否在兩次邊緣聚合之間完成本地訓練和模型上傳，V_s是與邊緣服務器s相關聯的邊緣設備集合，在進行邊緣聚合之后，邊緣服務器會根據邊緣設備本地訓練的次數來決定是否進行全局聚合，具體來說，如果本周期內邊緣設備本地訓練的次數沒有達到G^(r)次，邊緣服務器會將更新之后的邊緣模型發送給與其相關聯的邊緣設備，用于替換邊緣設備的本地模型，從而繼續本地訓練；如果本地訓練的次數已經達到G^(r)次，邊緣服務器會將更新之后的邊緣模型上傳到云服務器進行全局聚合從而生成全局模型，全局聚合的過程為：

其中，是在訓練周期r內第t^r次本地訓練后通過全局聚合更新的全局模型，用于表示邊緣設備k能否在兩次邊緣聚合之間完成本地訓練和模型上傳，V_s是與邊緣服務器s相關聯的邊緣設備集合，該全局模型被發送給所有的邊緣設備用于替換邊緣設備的本地模型，并且用于下一個周期的訓練。