[發明專利]一種基于多智能體強化學習的無人機集群高效通信方法

在審

• 申請號: 202110441049.0
• 申請日: 2021-04-23
• 公開（公告）號: CN113286275A
• 公開（公告）日: 2021-08-20
• 發明（設計）人: 俞揚;詹德川;周志華;練婭莉;袁雷;秦熔均;龐竟成;管聰;羅凡明;張云天;陳雄輝
• 申請（專利權）人: 南京大學
• 主分類號: H04W4/46
• 分類號: H04W4/46;H04W24/02;H04W24/06;G06N3/04
• 代理公司: 南京樂羽知行專利代理事務所(普通合伙) 32326
• 代理人: 李玉平

本發明公開一種基于多智能體強化學習的無人機集群高效通信方法，構建無人機飛行環境模擬器；隨機選取一架無人機作為隊長并標記；每架無人機獲取并維護本機的局部觀測值，將自身觀測值進行編碼并發送給隊長；隊長根據每架無人機的自身觀測值，分別對全局觀測值進行attention注意力機制處理，根據信息的重要程度來決定信息的權重，繼而將計算好的觀測值發送給每個隊友，作為隊友的全局觀測值；訓練階段以全局觀測值作為訓練數據，直到策略網絡收斂；執行階段以分布式的方式進行；對隊長的存活給一個額外的獎勵。本發明可以在通信開銷較小的條件下解決無人機集群集中式信息交互的問題，給予無人機自主決策權。

技術領域

本發明涉及一種基于多智能體強化學習算法的無人機集群學習方法和無人機集群信息交互方法，屬于無人機集群通信協作技術領域。

背景技術

隨著科技的迅猛發展，無人機越來越小型化、智能化，因此被廣泛應用于戰場偵查、聯合攻擊、應急救援等行動。無人機集群較單架無人機具有明顯的規模優勢、協同優勢等，有效地解決了單架無人機在效率、續航方面的局限性。目前大部分無人機集群的解決方案都是依賴于深度強化學習。深度強化學習是機器學習的一個分支，是一種通過與環境進行交互試錯學習的學習范式。強化學習具有很強的魯棒性，其核心是與環境交互進行迭代學習，他的兩大基本特征是：與環境不斷交互進行試錯探索、在與環境交互后得到延遲回報。強化學習的目的是在迭代過程中獲取新的知識，以此改進狀態-動作函數來適應環境。

無人機集群無論是協同訓練還是共同部署，各無人機之間的通信方案都是無人機集群解決方案的重要組成部分。現有的無人機集群信息交互的控制策略中，一般有集中式控制、分布式控制和分散式控制三種方式，各種方式各有優缺點。其中集中式控制效果最好，但是需要進行大量的信息交互，計算量大，通信效率低，并且無人機集群在該方法下往往缺乏靈活性和自治性。

為了提升無人機集群間的通信效率，學界提出了諸多方法，例如中心化訓練去中心化執行的框架，但該方法忽略了物理層的安全性。中心化訓練去中心化執行的框架包括Actor網絡和Critic網絡，對每個agent的強化學習都考慮其他agent的動作策略，進行集中式訓練、分布式執行，在訓練過程中，Critic網絡可獲得全局信息，執行過程中Actor的輸入包含單個智能體的局部信息。將中心化訓練去中心化執行的框架應用在無人機集群控制能避免無人機集群失去自治性，各無人機能根據自己傳感器所獲取的局部信息進行決策，實現一定的自治能力。然而在基于中心化訓練去中心化執行的框架的無人機集群中，若每架無人機都要將自己的位置、速度、姿態和運動目標等信息和編隊中所有無人機進行交互，這不僅浪費帶寬，而且信息容易被敵人獲取。

發明內容

發明目的：為了解決基于中心化訓練去中心化執行的框架的無人機集群中采用集中式信息交互方式通信效率低、通信不安全的缺點，基于前述提到的多智能體強化學習算法在無人機集群中的背景，本發明提出一種基于多智能體深度強化學習框架的無人機集群高效通信方法。在集群中，采取“隊長-隊友”模式，為隊長設計特定的獎勵機制，保證隊長存活時間最長，隨后對無人機集群進行編號并選取一名隊長，每架無人機通過自身傳感器獲取并維護本機的局部觀測值。為降低信息維度，每架無人機對本機觀測值進行embedding編碼，隊長收集隊友的本機觀測值并維護成全局觀測值；為減少搜索空間，提高全局觀測值信息間的緊密性，隊長根據每架無人機的自身觀測值對全局觀測值進行注意力機制處理，將計算好的觀測值發送給每個隊友，作為隊友的全局觀測值。本發明方案將通信次數由N(N-1)降低為2(N-1)(N為無人機架數)，大大減少通信鏈路和通信量，從而可以較好的解決通信效率和安全的問題。