[發明專利]一種基于聯邦學習的頻譜資源管理分配方法

有效

• 申請號: 202110279397.2
• 申請日: 2021-03-16
• 公開（公告）號: CN113038616B
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 張科;袁鑫
• 申請（專利權）人: 電子科技大學
• 主分類號: H04W72/04
• 分類號: H04W72/04;H04L41/142
• 代理公司: 北京正華智誠專利代理事務所(普通合伙) 11870
• 代理人: 李林合

本發明公開了一種基于聯邦學習的頻譜資源管理分配方法。該方法包括終端設備從環境中收集狀態信息；若信息變化超過門限值，則做出信道傳輸的頻譜、子信道和傳輸功率決策；終端設備收集決策后下一時刻的狀態信息和獎勵信息，并采用梯度下降法訓練主網絡中的行動者網絡和評論家網絡；當終端設備累計梯度達到預設梯度門限值后將其主網絡參數上傳至基站；基站收集的主網絡參數量達到門限值后，根據預設權重將主網絡參數聚合并廣播給所有終端設備；終端設備接收到聚合參數后更新其主網絡和目標網絡的參數。本發明為了解決現有技術中頻譜利用率低，用戶隱私易泄露等問題，采用了異步的聯邦學習方式，在解決以上問題的同時還具有通信消耗低的優點。

技術領域

本發明涉及一種頻譜資源管理分配方法，尤其涉及一種基于聯邦學習的頻譜資源管理分配方法。

背景技術

在未來通信網絡中，終端設備規模的日益增長和多樣化服務類型不斷涌現，對網絡容量形成巨大壓力。即便是使用全頻譜，面對龐大的帶寬需求，仍然存在挑戰。只有充分提升全頻譜的利用率，才能有效緩解網絡負荷，最大程度滿足用戶服務質量。然而，相對于現有無線通信系統，全頻譜網絡頻譜資源呈現出差異性和高動態性，而現有的基于數學優化理論的頻譜資源管理機制缺乏對可用頻譜資源的預測能力，所以難以有效應對。如何適應頻譜和業務的動態性、隨機性，進而實現適變、高效地使用全頻譜資源成為難點。

若采用認知無線電中的單用戶感知，容易受到陰影效應、多徑衰落以及終端隱蔽的影響，從而導致次級用戶的環境感知結果產生偏差。多個次級用戶對環境感知的不充分會引起次級用戶的決策發生錯誤，從而導致發生沖突，大大降低頻譜利用率。

為此，提出多用戶聯合感知頻譜接入方案，提高頻譜利用率。由于數據在真實環境下的分布得十分廣泛，使得基站收集這些分散的數據來進行集中式的學習從而完成資源調度不僅需要消耗極大的通信資源，還存在著惡意攻擊者可以通過監聽次級用戶發送的信息推導出次級用戶的位置以及通信頻段等隱私信息的危險。

發明內容

針對現有技術中的上述不足，本發明提供了一種基于聯邦學習的頻譜資源管理分配方法。

為了達到上述發明目的，本發明采用的技術方案為：

一種基于聯邦學習的頻譜資源管理分配方法，包括以下步驟：

S1、終端設備從環境中收集狀態信息；

S2、終端設備判斷步驟S1收集的當前時刻狀態信息和上一時刻狀態信息變化差值是否超過預設差值門限值，若是，執行步驟S3，否則返回步驟S1；

S3、終端設備根據當前狀態信息對主網絡中的行動者網絡信道傳輸的頻譜、子信道和傳輸功率進行決策；

S4、終端設備收集決策后下一時刻的狀態信息和獎勵信息，并將當前時刻狀態信息、當前時刻動作、下一時刻狀態信息和獎勵信息組成經驗元組，把經驗元組放入記憶池；

S5、終端設備利用步驟S4放入記憶池的經驗元組采用梯度下降法訓練主網絡中的行動者網絡和評論家網絡；

S6、判斷終端設備累計梯度是否達到預設梯度門限值，若是，執行步驟S7，否則返回步驟S1；

S7、終端設備將其主網絡參數上傳至基站；

S8、基站判斷其收集的主網絡參數量是否達到預設收集門限值，若是，根據設定權重將所有的主網絡參數進行聚合并廣播給所有終端設備并執行步驟S9，否則繼續收集主網絡參數；

S9、終端設備根據接收到的聚合參數更新其主網絡和目標網絡的參數，并返回步驟S1。