[發明專利]一種基于多智能體深度強化學習的協作充電規劃方法

在審

• 申請號: 202211462417.0
• 申請日: 2022-11-21
• 公開（公告）號: CN115907377A
• 公開（公告）日: 2023-04-04
• 發明（設計）人: 馮勇;王蜀蒙;李英娜;張晶;付曉東
• 申請（專利權）人: 昆明理工大學
• 主分類號: G06Q10/0631
• 分類號: G06Q10/0631;G06Q50/06;G06F18/241;G06N3/04;G06N3/084
• 代理公司: 昆明明潤知識產權代理事務所(普通合伙) 53215
• 代理人: 馬海紅

本發明公開了一種基于多智能體深度強化學習的協作充電規劃方法，屬于無線可充電傳感器網絡(WRSN)領域。在大規模或密集型WRSN中使用多個移動充電器(MC)可避免對傳感器節點充電不及時造成的節點能量耗盡。由于節點不均勻分散分布且充電時間不同，多MC需異步充電，故以往多智能體深度強化學習算法難以用于多MC協同充電的場景。本發明基于多智能體深度強化學習優化WRSN中多MC協作調度問題，即提出一種多MC異步充電的框架，并使用協作通信單元為每個決策智能體動態地提取其他智能體信息。本發明旨在使多MC可以更好的協作，從而在保證最小死亡節點數的前提下，使各個MC的移動路徑長度最短，最大化多MC的充電效用。

技術領域

本發明涉及無線可充電傳感器網絡領域，具體涉及一種基于多智能體深度強化學習的協作充電規劃方法(MACC)。

背景技術

能量約束問題一直是限制無線傳感器網絡發展的重要因素之一。無線可充電傳感器網絡(Wireless?Rechargeable?Sensor?Network,WRSN)是一種在受能量約束的無線傳感器網絡中部署移動充電器(Mobile?Charger,MC)為傳感器充電的無線傳感器網絡。如今，WRSN已廣泛應用于軍事、農業生產、森林防火、生態監測等多個領域。而有效地規劃MC的充電路徑進而延長WRSN的生存時間成為了WRSN的關鍵性研究問題。

在大規模或密集型無線可充電傳感器網絡中使用多個MC可以盡可能避免由于對傳感器節點充電不及時造成的傳感器節點能量耗盡。僅使用單智能體深度強化學習方法難以滿足多MC協作的需求。而由于每個傳感器節點不均勻分散分布且充電所需的時間不同，多MC需執行異步充電，所以以往多智能體深度強化學習算法的結構難以適用于多MC協同充電的場景。針對上述問題，研究可滿足多MC異步協作的多智能體深度強化學習協作充電規劃方法，可以大大提高多MC的充電效率。

Meiyi?Yang等學者于2020年在IEEE?Internet?Of?Things?Journal發表的“Dynamic?Charging?Scheme?Problem?With?Actor-Critic?Reinforcement?Learning”提出了基于行動者-評論家強化學習(ACRL)算法的WRSN新型動態充電方案(DCS)。方法利用單智能體深度強化學習為一個MC動態的選擇充電節點，并在節點平均壽命和MC移動路徑長度方面的效果優于傳統啟發式方法。但一個MC無法滿足大規模或密集型無線可充電傳感器網絡的充電需求。

Yuxin?Chen等學者于2021年在IEEE?International?Conference?on?Sensing,Communication,and?Networking發表的“VarLenMARL:A?Framework?of?Variable-LengthTime-Step?Multi-Agent?Reinforcement?Learning?for?Cooperative?Charging?inSensor?Networks”提出了一個新的多智能體深度強化學習框架，稱為VarLenMARL。VarLenMARL中的訓練樣本收集機制使用其他MC舊的信息為決策MC進行動作決策，從而允許每個MC在估計獎勵之前在可變長度的時間步完成一個動作。這解決了多MC需執行異步充電的問題。但導致如下問題：決策智能體必須花費更多的時間才能從訓練樣本中找到有用的信息。智能體正常訓練過程受到這些舊數據的干擾，變得不穩定。