[發明專利]一種無線網絡中基于多智能體強化學習的領導人選舉方法

在審

• 申請號: 202210018612.8
• 申請日: 2022-01-08
• 公開（公告）號: CN114375022A
• 公開（公告）日: 2022-04-19
• 發明（設計）人: 鄒逸飛;于東曉;徐標;徐明輝
• 申請（專利權）人: 山東大學
• 主分類號: H04W40/24
• 分類號: H04W40/24;H04W40/32;H04L41/14;G06N20/00
• 代理公司: 青島華慧澤專利代理事務所(普通合伙) 37247
• 代理人: 付秀穎

本發明公開了一種無線網絡中基于多智能體強化學習的領導人選舉方法，包括如下步驟：S1.構建無線網絡領導人選舉場景，用于與智能體交互；構建領導人選舉所需多智能體強化學習模型；S2.對模型進行訓練使模型參數最優化；S3.各智能體加載訓練好的模型參數，根據模型做出決策，實現領導人選舉。其優點在于，采用了多智能體強化學習的方法去解決領導人選舉問題，參與領導人選舉的各候補節點，彼此之間不需要進行通信，只需要與無線網絡環境進行交互，可擴展性強；可以進行分布式訓練，減少訓練時間；訓練出的模型可以很好地保證領導人選舉過程的成功。

技術領域

本發明涉及分布式系統領域，尤其是無線網絡中基于多智能體強化學習的領導人選舉方法。

背景技術

隨著物聯網的發展，越來越多的智能設備連入網絡，傳統的集中式系統中單個節點的能力難以滿足如此爆炸增長的數據計算以及存儲的需求，分布式系統便應運而生。與傳統的集中式系統不同的是，分布式系統是由一組通過網絡進行通信、為了完成共同的任務而協調工作的計算機節點組成的系統。分布式系統動態分配任務，節點的物理以及邏輯資源通過網絡進行信息交換，從而實現了對復雜任務的分布式實現。

分布式系統在動態分配任務時，常常要從多個計算機節點中選擇一個節點作為統籌管理其它節點的領導者，這種選舉出一個節點作為其它節點的領導者的過程被稱為領導人選舉。領導人選舉的方法有很多，常見的如使用Aloha協議來實現領導人選舉，但是這些方法大多需要候補節點之間進行信息交流，當節點數量增多時會嚴重影響方法性能。而多智能體強化學習的理念在分布式系統中有很高的應用潛力，如今并沒有較為成熟的基于多智能體強化學習的領導人選舉方法，因此，本發明引入了多智能體強化學習方法，來解決領導人選舉問題。

發明內容

針對現有技術的不足，本發明提供了一種高效的、可擴展的無線網絡中基于多智能體強化學習的領導人選舉方法，通過構建多個智能體作為候補節點與仿真無線網絡環境交互訓練，可以較好的實現領導人選舉過程。

一種無線網絡中基于多智能體強化學習的領導人選舉方法，包括如下步驟：

S1.構建無線網絡領導人選舉場景，用于與智能體交互；

構建領導人選舉所需多智能體強化學習模型；

S2.對模型進行訓練使模型參數最優化；

S3.各智能體加載訓練好的模型參數，根據模型做出決策，實現領導人選舉。

進一步優選的，領導人選舉場景為：

在無線網絡環境中，存在K個領導人候補節點和一個無線信道，時間被分為多個時間片，各候補節點間彼此無法通信，且信道在某一時間片內只能被單個節點占用；在每個時間片內，各候補節點會對自身的選舉概率進行調整，根據調整后的選舉概率選擇是否參與選舉，參與選舉的節點會去搶占信道，依據每個時間片內信道的狀態，環境會給予各節點反饋，當參與選舉的節點數量為1時，即信道被成功占用時，則為選舉成功；當沒有參與選舉的節點或參與選舉的節點數量不等于1時，即信道未被成功占用時，此時選舉失敗。

進一步優選的，多智能體強化學習模型為：

在各個智能體處都構建DDPG強化學習模型，每個智能體都被看作是參與領導人選舉的候補節點；

每個智能體的DDPG模型包括四個全連接網絡，分別是當前策略網絡、目標策略網絡、當前評論網絡以及目標評論網絡；

所述當前策略網絡，輸入為t時間片的狀態，輸出為t時間片的動作，及對t時間片的選舉概率的增長百分比；

所述目標策略網絡，輸入為t+1時間片的狀態，輸出為t+1時間片的動作，及對t+1時間片的選舉概率的增長百分比；

所述當前評論網絡，輸入為t時間片的狀態和當前策略網絡的輸出，輸出為對t時間片此狀態下采取此動作的價值的評估值；