[發明專利]一種邊緣聚合間隔自適應控制的分層聯邦學習方法、計算機設備、存儲介質

有效

• 申請號: 202110641363.3
• 申請日: 2021-06-09
• 公開（公告）號: CN113469325B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 夏文超;徐波;趙海濤;張暉;倪藝洋;蔡艷;朱洪波
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06N3/0464
• 分類號: G06N3/0464;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 羅運紅

本發明公開了一種邊緣聚合間隔自適應控制的分層聯邦學習方法，包括如下步驟：1)搭建以邊緣設備，邊緣服務器，云服務器為主要元素的分層聯邦學習系統；2)在每個訓練周期的起始階段，云服務器根據當前的訓練情況，優化邊緣聚合間隔以及當前周期的訓練時延預算；3)在訓練過程中，邊緣設備訓練本地模型；并且根據邊緣聚合間隔將本地模型發送到邊緣服務器進行邊緣聚合從而生成邊緣模型；在每個周期的結束階段，邊緣服務器將邊緣模型上傳到云服務器進行全局聚合從而生成全局模型。該發明能夠自適應地調整邊緣聚合的間隔，在學習性能和訓練時延中取得平衡。

技術領域

本發明涉及機器學習和移動通信技術領域，特別是一種邊緣聚合間隔自適應控制的分層聯邦學習方法、計算機設備、存儲介質。

背景技術

隨著人工智能技術的廣泛應用，為更好的保護用戶隱私，聯邦學習的概念被提出。在聯邦學習系統中，設備不直接將本地數據上傳到云服務器，而是先進行本地計算，將訓練之后的神經網絡模型上傳到云服務器進行全局聚合。云服務器會將生成的全局模型反饋給設備，從而進行下一個周期的訓練。然而，由于云服務器與設備距離較遠，并且無線資源有限，直接和云服務器通信可靠性較低，并且會產生較大的傳輸時延。為解決該問題，分層的聯邦學習框架被提出，其中具體做法為訓練過程中，邊緣設備訓練本地模型；并且根據邊緣聚合間隔將本地模型發送到邊緣服務器進行邊緣聚合；然后邊緣服務器將更新之后的邊緣模型發送給關聯的邊緣設備從而繼續進行本地訓練；在每個周期的結束階段，邊緣設備通過邊緣服務器將邊緣模型上傳到云服務器進行全局聚合；最后云服務器將全局模型廣播給所有邊緣設備從而進行下一輪的訓練。分層聯邦學習能夠提高本地模型傳輸的可靠性，并且能采集更多的本地模型，提高學習性能。

發明內容

本發明所要解決的技術問題是克服現有技術的不足而提供的一種邊緣聚合間隔自適應控制的分層聯邦學習方法，其目標最小化訓練損失和訓練時延的加權和。

本發明為解決上述技術問題采用以下技術方案：本發明提出一種邊緣聚合間隔自適應控制的分層聯邦學習方法，通過部署邊緣服務器協助聯邦學習訓練；云服務器根據當前的訓練情況，優化邊緣聚合間隔以及當前周期的訓練時延預算；根據優化之后的邊緣聚合間隔以及訓練時延預算，邊緣設備，邊緣服務器，云服務器協作地完成聯邦學學習訓練，具體步驟如下：

步驟1，搭建以邊緣設備，邊緣服務器，云服務器為元素的分層聯邦學習系統；該系統部署在無線環境中；其中包含多個邊緣設備，多個邊緣服務器，以及一個云服務器；邊緣設備集合定義為K＝{1,2,...k,...,K}，邊緣服務器集合定義為S＝{1,2,...s,...,S}；邊緣設備k本地的數據集為其中，i是樣本的索引，x_k,i是第i個輸入樣本，y_k,i是該樣本的標簽，D_k設訓練樣本的數目，這些數據可以來自任意的學習任務；由于邊緣服務器覆蓋范圍有限，每個邊緣服務器只關聯一部分的邊緣設備，定義被邊緣服務器s服務的設備集合為V_s；邊緣設備，邊緣服務器，云服務器協助地完成聯邦學習訓練，目標為訓練出模型w使得全局損失最小:

其中，是全局損失函數值，是總樣本，l(w,x_k,i,y_k,i)是邊緣設備k在給定模型w情況下在訓練數據{x_k,i,y_k,i}上的損函數失值，l是任意損失函數；