[發明專利]一種基于多智能體強化學習的分布式信道競爭方法

在審

• 申請號: 202210018613.2
• 申請日: 2022-01-08
• 公開（公告）號: CN114375066A
• 公開（公告）日: 2022-04-19
• 發明（設計）人: 鄒逸飛;于東曉;徐標;徐明輝
• 申請（專利權）人: 山東大學
• 主分類號: H04W74/08
• 分類號: H04W74/08;G06N20/00
• 代理公司: 青島華慧澤專利代理事務所(普通合伙) 37247
• 代理人: 付秀穎

本發明公開了一種基于多智能體強化學習的分布式信道競爭方法，包括如下步驟：步驟1：構建分布式信道競爭場景，并且構建多智能體強化學習所需的基本元素，包括環境、智能體、狀態、動作以及獎勵函數；步驟2：構建方法所需多智能體強化學習模型；步驟3：智能體與環境進行交互，令各個智能體構建各自的經驗回放集合，用以訓練多智能體強化學習模型；步驟4：將訓練完成的模型用于分布式信道競爭。其優點在于，實現了一種去中心化的信道競爭策略，不需要像傳統網絡一樣依賴于基礎設施；相比于使用分布式隨機算法有更好的自適應性；可以進行分布式訓練，大幅減少訓練時間，有較好的信道使用率以及較為公平的信道使用。

技術領域

本發明屬于無線通信領域，特別提供了一種基于多智能體強化學習的分布式信道競爭方法。

背景技術

傳統的集中式網絡，如藍牙、蜂窩網和WiFi等，都是通過基站等設施對用戶的需求信號進行統一調配處理，耗能較大。雖然在今天這個問題不是很嚴重，但當物聯網時代來臨時，方圓幾公里內成千上萬個傳感器聚集在一起，傳統網絡就無法保障物與物之間的協同通信。

為了緩解集中式網絡的壓力，本發明提出了一種自適應的分布式信道競爭策略，該策略使用分布式的思想，不再通過基站等設施對用戶需求統一分配，而是讓用戶自身通過感知信道環境，動態地檢測和有效地利用信道資源，這種自適應性的分配方式可以作為一種很好的補充通信方式，和蜂窩網、WiFi等共同組成未來的5G網絡，為物聯網、車聯網、智慧城市提供信息基礎。

當前國內外有相當多的關于信道競爭的研究，但是大多沒有關注去中心化這個點，而是注重于傳統網絡，依賴于基礎網絡設施，例如基站和AP。相比之下，采用分布式算法的信道競爭策略較少，在這些分布式算法中，大多采用了隨機算法，鮮有與機器學習算法相結合的。而多智能體強化學習的思想與所述的這種分布式信道競爭策略的思想相吻合，將多智能體強化學習運用其中，具有重要的研究意義。

發明內容

為了緩解傳統的集中式網絡在未來物聯網時代的壓力，本發明提出了一種自適應性的、高效的、拓展性強的基于多智能體強化學習的分布式信道競爭方法。該方法通過構造多個智能體和仿真環境交互，通過訓練，可以用于信道競爭的實際使用。其技術方案為，

一種基于多智能體強化學習的分布式信道競爭方法，包括如下步驟：

步驟1：構建分布式信道競爭場景，并且構建多智能體強化學習所需的基本元素，包括環境、智能體、狀態、動作以及獎勵函數；

步驟2：構建方法所需多智能體強化學習模型；

步驟3：智能體與環境進行交互，令各個智能體構建各自的經驗回放集合，用以訓練多智能體強化學習模型；

步驟4：將訓練完成的模型用于分布式信道競爭。

進一步優選的，分布式信道競爭場景為：

在一個網絡系統中，K個網絡接入點共享一個信道，這些網絡接入點屬于不同的網絡結構，彼此之間不通信；將時間分為多個時間片，設定信道在某一時間片內只能被單個網絡接入點使用，當某一時間片有多個網絡接入點使用時則信道傳輸失敗。

進一步優選的，多智能體強化學習的環境構建過程如下：

構建分布式信道競爭仿真場景作為多智能體強化學習的交互環境，智能體可以獲取到上一輪的信道狀態，環境會依據智能體的動作，進行模擬，計算出信道狀態以及給出各智能體相應的獎勵值。

進一步優選的，多智能體強化學習的智能體構建過程如下：

構建信道競爭智能體K個，各個智能體通過與環境交互，以此構建經驗回放集合，不斷從中選取批次用于訓練；每個智能體只能觀測到公共的信道狀態以及自身的狀態，各智能體之間無法進行信息交互，在沒有信息交流的情況下，共同實現較為公平的基于多智能體強化學習的分布式信道競爭。