[發明專利]基于多智能體強化學習的多無人機協同空戰機動決策方法

有效

• 申請號: 202110318644.5
• 申請日: 2021-03-25
• 公開（公告）號: CN112947581B
• 公開（公告）日: 2022-07-05
• 發明（設計）人: 楊啟明;張建東;史國慶;吳勇;朱巖;張耀中
• 申請（專利權）人: 西北工業大學
• 主分類號: G05D1/10
• 分類號: G05D1/10
• 代理公司: 西安凱多思知識產權代理事務所(普通合伙) 61290
• 代理人: 劉新瓊

本發明公開了一種基于多智能體強化學習的多無人機協同空戰機動決策方法，解決了仿真多對多空戰中多無人機協同空戰中的機動動作的自主決策問題。本方法包含：無人機平臺的運動模型創建；基于攻擊區和距離、角度因素的多機空戰態勢評估，分析多機空戰機動決策的狀態空間、行動空間和獎勵值；設計了協同空戰中的目標分配方法和策略協調機制，通過獎勵值的分配，定義了各個無人機在目標分配、態勢優勢和安全避碰的行為反饋，經過訓練后實現策略協同。本發明可有效提高多無人機進行協同空戰機動自主決策的能力，具有更強的協同性和自主尋優性，在不斷的仿真和學習中無人機編隊所做的決策水平不斷提高。

技術領域

本發明屬于無人機技術領域，具體涉及多無人機協同空戰機動決策方法。

背景技術

目前，無人機已經能夠完成偵察、監視和對地攻擊等任務，在現代戰爭中發揮著越來越難以替代的作用。但是由于智能化水平的限制，目前無人機尚無法進行自主空戰機動決策，尤其是多架無人機的自主協同空戰。因此，提升無人機的智能化水平，讓無人機能夠根據態勢環境而自動產生控制指令完成空戰中的機動動作是當前主要的研究方向。

讓無人機完成空戰機動自主決策，其實質是完成從空戰態勢到機動動作的映射，在不同態勢下執行相應的機動動作。由于空戰的態勢較之于其他任務更加復雜，靠人工預編程的方法難以全面地覆蓋空戰任務的態勢空間，更難以計算產生最優的機動動作決策。

目前對無人機空戰機動決策研究都是針對1v1單機對抗場景下所開展的，而現實空戰中，基本都是多架無人機組成編隊協同作戰。多機協同空戰涉及空戰態勢評估、多目標分配、機動決策三個方面，協同空戰是這三個部分的緊密聯系的耦合過程，相對于單機對抗的機動決策，多機協同空戰除了兵力數量規模擴大之外，還需要考慮戰術配合，問題更加復雜。

對多機協同空戰決策研究可以分為集中式和分布式，集中式的方法是由一個中心計算編隊內所有無人機的行動，這類模型較為復雜，存在計算難度大、實時性不足的問題。分布式方法的思路是在目標分配的基礎上由編隊內的各個無人機自行計算各自的機動動作，從而降低模型的復雜度，通過目標分配來實現編隊任務的協同。現有的分布式協同空戰決策方法多采用先進行目標分配，再根據目標分配的結果將多對多空戰轉化為一對一的情況，這種方法無法很好地發揮多目標攻擊能力和編隊作戰的戰術協同，無法達到1+12的效果。

發明內容

為了克服現有技術的不足，本發明提供了一種基于多智能體強化學習的多無人機協同空戰機動決策方法，解決了仿真多對多空戰中多無人機協同空戰中的機動動作的自主決策問題。本方法包含：無人機平臺的運動模型創建；基于攻擊區和距離、角度因素的多機空戰態勢評估，分析多機空戰機動決策的狀態空間、行動空間和獎勵值；設計了協同空戰中的目標分配方法和策略協調機制，通過獎勵值的分配，定義了各個無人機在目標分配、態勢優勢和安全避碰的行為反饋，經過訓練后實現策略協同。本發明可有效提高多無人機進行協同空戰機動自主決策的能力，具有更強的協同性和自主尋優性，在不斷的仿真和學習中無人機編隊所做的決策水平不斷提高。

本發明解決其技術問題所采用的技術方案包括以下步驟：

步驟1：建立多機空戰環境模型，定義在多機協同空戰過程中每架無人機進行機動決策的狀態空間、行動空間和獎勵值；

步驟1-1：在地面坐標系中，ox軸取正東方，oy軸取正北方，oz軸取鉛垂方向；在地面坐標系中無人機的運動模型如式(1)所示：

在地面坐標系中，無人機的動力學模型如式(2)所示：