[發明專利]一種面向電池供電物聯網設備的聯邦學習資源管理方法

在審

• 申請號: 202210110563.0
• 申請日: 2022-01-29
• 公開（公告）號: CN114423085A
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 范紹帥;吳劍波;田輝
• 申請（專利權）人: 北京郵電大學
• 主分類號: H04W72/04
• 分類號: H04W72/04;G06N20/00
• 代理公司: 北京挺立專利事務所(普通合伙) 11265
• 代理人: 高福勇

本發明公開了一種面向電池供電物聯網設備的聯邦學習資源管理方法，包括以下步驟：S1、建立電池能源分配模型，實時估計剩余訓練輪次，在線分配每輪訓練的能量預算；S2、根據每輪訓練的能量預算計算時延最短的發射功率和CPU頻率；S3、根據歷史梯度估計法計算Non IID數據分布下的學習效率；S4、求解最大化學習效率的設備選擇和通信資源塊分配方案，并根據最終時延調整CPU頻率。本發明的面向電池供電物聯網設備的聯邦學習資源管理方法，考慮帶寬受限、信道不穩定等因素，以及考慮在Non?IID數據分布下進行設備選擇，適用于現實無線環境下電池供電設備上的聯邦學習，在有限的電量下學習精度更高。

技術領域

本發明涉及無線通信技術領域，尤其涉及一種面向電池供電物聯網設備的聯邦學習資源管理方法。

背景技術

聯邦學習在工業物聯網環境下，設備可能面臨低資源可用性，例如較低的計算能力、有限的帶寬和電池壽命。有限的電池壽命可能造成設備掉線，有限的帶寬需要進行設備篩選，無線信道不穩定會造成傳輸失敗。

聯邦學習設備可以分為充電設備和電池設備。聯邦學習的研究大多基于充電設備，限制了可選擇的設備類型。而采用電池供電的設備如果不考慮能量調度可能導致設備因能量耗盡而掉落。

目前，對于能源分配的方法討論較少，多數沒有考慮電池電量受限下的能源分配問題。部分研究通過根據設備能量和已知訓練輪次，計算每輪可用能量。然而在資源受限異構網絡中難以一開始就已知固定學習時間的訓練輪次。

現有技術中，已知能源預算下，對聯邦學習通常考慮時延、成本和精度三個優化方向，然而難以同時進行三個方向的優化，需要對多種優化方向進行權衡。常見的優化目標是在固定訓練時間內達到最大精度，然而大多數研究沒有考慮電池供電以及無線傳輸對系統性能影響。由于電池能量有限且信道不穩定可能造成傳輸失敗，且長期優化求解復雜度隨時間增長指數增大，因此可以采用每輪獨立迭代優化。為了定量分析訓練過程，權衡訓練時間和精度目標，加快學習速度，可以采用學習效率作為優化目標，學習效率被定義為單輪全局模型損失值衰減與單輪訓練時延的比率。

現有技術的缺點主要有以下幾點：

1、聯邦學習通常考慮時延、成本和精度三個優化方向，需要對多種優化方向進行權衡。關于學習時間和精度的權衡多數研究采用權重相加，需要調整參數，并且無法定量分析固定訓練時間下的收斂精度。

2、多數聯邦學習研究都基于在充電設備上訓練，對電池供電設備上的聯邦學習研究不多，而物聯網環境下，設備可能使用電池供電。現有關于電池供電設備的聯邦學習很少考慮電池能源分配問題。不考慮能量調度可能導致設備電池能量耗盡而掉落，降低系統性能。

3、部分研究通過根據設備能量和已知訓練輪次來分配電池能量。然而優化目標是固定訓練時間學習精度最大時，在資源受限異構網絡中難以確定固定訓練時間下學習輪次。

4、聯邦學習持續時間由最慢的設備決定，無用的等待時間造成能源浪費，因此希望調度設備訓練時間接近。而多數聯邦學習研究中不考慮能源受限，設備始終以最大CPU頻率訓練，以最大發射功率運行。由于設備異構以及無線信道不同，造成設備每輪時延差距較大，對電池壽命造成巨大壓力。

5、聯邦學習大部分研究基于理想的無線環境，而實際無線環境需要考慮信道不穩定造成的傳輸失敗，并考慮由于帶寬受限需要進行設備調度。

6、在非獨立同分布Non IID數據分布下，設備選擇需要考慮數據分布情況，考慮到統計異質性，進行數據感知。設備選擇應根據時間安排選擇多樣性措施。如果選擇在訓練前賦予用戶權重，需要考慮數據集的多樣性。如果在訓練同時選擇用戶，則要考慮模型多樣性，一般根據模型范數或者梯度范數估計多樣性。然而訓練前收集設備的信息違背了聯邦學習中隱私性的重要原則并且設備可能實時收集數據造成數據變化，而通過梯度或者損失選擇設備則會造成多余時延、浪費大量能量，在能源不足時這種浪費需要避免。

發明內容