[發明專利]一種基于聯邦學習的高效設備選擇與資源分配方法

在審

• 申請號: 202210236158.3
• 申請日: 2022-03-04
• 公開（公告）號: CN114598667A
• 公開（公告）日: 2022-06-07
• 發明（設計）人: 唐倫;汪智平;蒲昊;陳前斌
• 申請（專利權）人: 重慶郵電大學
• 主分類號: H04L47/783
• 分類號: H04L47/783;H04L67/1023;H04L67/12;G06N20/20
• 代理公司: 北京同恒源知識產權代理有限公司 11275
• 代理人: 廖曦

本發明涉及一種基于聯邦學習的高效設備選擇與資源分配方法，屬于移動通信領域，包括以下步驟：S1：在集中訓練階段開始時，初始化所有邊緣智能體的行動者和批評家網絡參數，并按照學習步驟進行更新，實例化經驗回放池；S2：部署體驗重放池，在采樣階段，所有邊緣智能體的經驗都存儲在其中，在訓練階段，每個邊緣智能體從經驗池中隨機抽取一批經驗，以非策略的方式對網絡參數進行訓練；S3：在參數更新階段，協調邊緣智能體，在從所有個體環境中收集的經驗與當前代理的策略之間進行交替更新，基于初始經驗池中采樣的批量經驗池中轉化多維元組中更新參數；S4：將更新完成的參數用于智能體目標網絡更新，并獲得全局最佳聯合決策。

技術領域

本發明屬于移動通信領域，涉及一種基于聯邦學習的高效設備選擇與資源分配方法。

背景技術

近年來，許多聯邦學習方案成功地運用在移動邊緣計算(Mobile EdgeComputing,MEC)網絡場景中，特別是在工業物聯網場景中，應用聯邦學習可以在保證數據隱私的前提下有效地提高工業數據的利用率。工業物聯網的智能工廠一般位于不同的地理區域，數據分布也存在異構性，為了為所有工廠提供服務，例如異常流量識別，因此需要一個全局檢測模型來實現由各個工廠生成的數據的高效性能。然而，傳統的兩層架構，即云-端架構，由于參數傳輸過多，數據量集中上傳至云端，因此導致了骨干網通信開銷過高。

針對聯邦學習過程中通信開銷過大的問題，主要的解決思路通常以降低梯度交換通信頻率以及降低單輪通信上傳總比特數入手，使用降低通信頻率的模型優化算法的確可以有效降低聯邦學習的通信開銷，但同時大大增加了系統算法復雜度，并且由于邊緣設備自身計算資源與電量受限，因此這種優化方式局限性較大，不能廣泛地應用。

現有的主要優化方案均集中于通信頻率的優化，但實際上并不能在工業環境中廣泛應用，因此亟需一種能夠合理分配通信資源及設備選擇參與的聯合算法來解決聯邦學習中通信開銷過大問題的方法。

發明內容

有鑒于此，本發明的目的在于提供一種基于聯邦學習的資源分配及邊緣協同優化策略方法，通過合理選擇設備參與及資源分配來降低聯邦學習通信開銷。

為達到上述目的，本發明提供如下技術方案：

一種基于聯邦學習的高效設備選擇與資源分配方法，包括以下步驟：

S1：初始化參數：在集中訓練階段開始時，初始化所有邊緣智能體的行動者和批評家網絡的參數，并按照學習步驟進行更新，另外，一個經驗回放池被實例化；

S2：經驗抽樣：采用基于經驗回放技術的off-policy技術，部署一個具有一定內存容量的體驗重放池，在采樣階段，所有邊緣智能體的經驗都存儲在其中，在訓練階段，每個邊緣智能體從經驗池中隨機抽取一批經驗，以非策略的方式對網絡參數進行訓練。

S3：參數更新：在參數更新階段，邊緣智能體被協調起來，在從所有個體環境中收集的經驗與當前代理的策略之間進行交替更新，并且基于初始經驗池中采樣的批量經驗池中轉化多維元組中更新參數；

S4：將步驟S3中更新完成的參數用于智能體目標網絡更新，并獲得全局最佳聯合決策。

進一步，步驟S1中，各個所述邊緣智能體分別在其對應的邊緣控制器上運行，采用集中訓練，分散執行的機制，每個邊緣智能體只能從它所處的個體環境中觀察到局部信息，其所做的決策對其他邊緣智能體是不敏感的。

進一步，在集中訓練階段，所述邊緣智能體相互獲取其他邊緣智能體的信息，包括所有邊緣智能體的狀態和動作；邊緣智能體的行動者網絡僅從自身觀察到的局部狀態信息中捕獲環境動態，然后針對單個環境做出決策；邊緣智能體的批評家網絡通過所有邊緣主體的行為-狀態對來生成Q值來評估決策；在去中心化執行階段，邊緣智能體的行動者和批評家的網絡參數不再更新。

進一步，步驟S2中，邊緣智能體的經驗用所選動作、狀態轉移和反饋獎勵的多維元組表示，并由以下步驟得到：