[發明專利]無線邊緣網絡中有效聯邦學習的最小-最大代價優化方法

有效

• 申請號: 202110358311.5
• 申請日: 2021-04-01
• 公開（公告）號: CN113194489B
• 公開（公告）日: 2022-09-13
• 發明（設計）人: 馮杰;田靜怡;裴慶祺;劉雷
• 申請（專利權）人: 西安電子科技大學
• 主分類號: H04W24/02
• 分類號: H04W24/02;H04W52/34;H04W72/04;G06N20/20
• 代理公司: 西安長和專利代理有限公司 61227
• 代理人: 何畏

本發明屬于通信技術領域，公開了一種無線邊緣網絡中有效聯邦學習的最小?最大代價優化方法，通過局部精度、子載波分配、發射功率分配和計算資源分配的聯合優化，以達到無線邊緣網絡中有效聯邦學習的最佳性能；其中，子載波分配和功率分配采用拉格朗日對偶分解法，CPU周期頻率采用啟發式算法，通過迭代算法獲得局部精度。為了降低直接求解問題的計算復雜度，本發明將原問題分解為若干個子問題進行求解并設計了高效的算法。仿真結果表明，本發明所提出的算法具有良好的收斂性能，能夠在能量消耗和學習時間之間實現折衷，并且在成本方面能夠為所有智能設備提供公平性，并通過與現有方案的比較，本發明能夠在能量消耗和學習時間之間實現折衷。

技術領域

本發明屬于通信技術領域，尤其涉及一種無線邊緣網絡中有效聯邦學習的最小-最大代價優化方法。

背景技術

目前，隨著智能設備的空前快速發展，它們已經成為人們日常生活中不可缺少的一部分，每天都會產生大量的數據。豐富的數據可以為基于機器學習的應用提供支持，例如訓練用戶活動模型和預測健康事件模型。在傳統的集中式機器學習技術中，智能設備用戶直接將數據上傳到云服務器上進行模型訓練。然而由于數據上傳到中心服務器，用戶的私人信息可能會被泄露。

聯邦學習(FL)被認為是解決此問題的一種有效方法，其在云服務器上訓練一個優秀的全局模型。FL本質上是一種分布式機器學習，它允許用戶在本地訓練數據，而無需將數據直接上傳到云服務器。在FL中，云服務器首先將當前的全局模型發送給每個本地用戶，然后使用本地數據更新共享模型，最后將更新后的模型發送回服務器。FL技術避免了集中訓練，有效地保護了用戶的隱私。聯邦學習是一種能夠保護用戶數據隱私的分布式機器學習技術，因此越來越受到業界和學術界的重視。

除了隱私問題，資源優化是聯邦學習的一個挑戰。因為本地用戶需要更新共享模型并將模型參數上傳到服務器，所以聯邦學習需要大量的計算和無線資源。雖然已有一些研究對聯邦學習的資源優化進行了研究，但也存在一些新的挑戰。一方面，聯邦學習的時間由兩部分決定：本地計算時間和通信時間。在已知準確度的前提下，學習時間是聯邦學習的重要性能指標之一。由于所有參與者的模型參數只有在同時上傳到服務器時才能進行聚合，因此每個參與者更新模型參數的時間會影響聯邦學習的收斂速度。因此，需要考慮單個智能設備的學習時間。另一方面，由于智能設備的能源有限，如何實現計算資源和無線資源的最優分配以達到能源消耗的最小化是一個主要問題。同時，現有的研究大多側重于整個過程的成本優化，而不能考慮單個參與者的成本。

通過上述分析，現有技術存在的問題及缺陷為：

(1)在傳統的集中式機器學習技術中，智能設備用戶直接將數據上傳到云服務器上進行模型訓練。然而由于數據上傳到中心服務器，用戶的私人信息可能會被泄露。

(2)由于所有參與者的模型參數只有在同時上傳到服務器時才能進行聚合，因此每個參與者更新模型參數的時間會影響聯邦學習的收斂速度。

(3)由于智能設備的能源有限，如何實現計算資源和無線資源的最優分配以達到能源消耗的最小化是一個主要問題。

(4)現有的針對聯邦學習的研究大多側重于整個過程的成本優化，而不能考慮單個參與者的成本。

解決以上問題及缺陷的難度為：

(1)智能設備與云之間的數據傳輸是不可避免的，且傳統的云學習架構本質上是中心式的，很難保證用戶的隱私，避免用戶收到分布式拒絕服務或斷電的影響。

(2)由于海量的用戶終端設備的接入和大量的移動計算的存在，數據流量呈現爆發式地增長，網絡負載急速加劇，很難在應對這些需求的同時實現網絡的計算資源與無線資源的合理分配。

解決以上問題及缺陷的意義為：

(1)處理和存儲數據分布在邊緣設備上，用戶數據與模型參數在本地進行處理，減少了處于安全與隱私暴露風險中的數據量，保護用戶隱私不泄露，加快聯邦學習的收斂速度。