[發明專利]一種基于深度隨機博弈的空戰機動策略生成技術

在審

• 申請號: 202010546485.X
• 申請日: 2020-06-15
• 公開（公告）號: CN112052511A
• 公開（公告）日: 2020-12-08
• 發明（設計）人: 馬文;王壯;吳昭欣;李輝
• 申請（專利權）人: 成都蓉奧科技有限公司
• 主分類號: G06F30/15
• 分類號: G06F30/15;G06F30/27;G06N3/08;G06F119/14
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于深度隨機博弈的空戰機動策略生成技術，其特征在于，包括以下步驟：

S1:根據飛機的運動學和動力學方程，構建雙方戰機的運動模型，結合空戰規則，建立智能體的訓練環境，并設置敵方機動策略；

S2:構建基于隨機博弈和深度強化學習的紅藍雙方智能體，確定每個智能體的狀態空間、動作空間和獎勵函數；

S3:使用隨機博弈與深度強化學習相結合的極大極小值DQN算法構建神經網絡，并訓練紅方智能體；

S4:在空戰博弈中，訓練完成的紅方智能體通過感知當前的空戰態勢，實時地生成最優機動策略，與藍方進行博弈對抗，引導戰機在空戰中占據有利的態勢位置。

2.根據權利要求1所述的一種基于深度隨機博弈的空戰機動策略生成技術，其特征在于：步驟S3中，所述極大極小值DQN算法訓練智能體的過程包括：

S301:利用DQN處理戰機的連續無限狀態空間，創建兩個神經網絡，分別為當前Q網絡和目標Q網絡，初始化當前Q網絡參數為θ，目標Q網絡參數為θ^-＝θ。神經網絡的輸入為戰機的狀態特征，輸出為該狀態下所有紅方可選動作a與藍方可選動作o對應的狀態動作值函數Q(s,a,o)；

S302:將智能體與環境交互得到的當前狀態s、紅方采取的動作a、藍方采取的動作o、紅方獲取的獎勵值r以及執行動作到達的下一狀態s'作為一個五元組{s,a,o,r,s'}存儲到記憶池；

S303:從記憶池中隨機抽取一定大小的數據作為訓練樣本，將訓練樣本的s'值作為神經網絡的輸入，根據神經網絡輸出得到狀態s'下的Q[s']；

S304:采用極大極小值算法求解隨機博弈狀態s下的最優值函數為根據公式使用線性規劃得到極大極小狀態值V[s']，再根據公式target_q＝(1-α)*Q[s,a,o,θ^-]+α*(r+γ·V[s'])計算出目標Q值target_q，式中α代表學習效率，r代表當前獲得的獎勵；γ代表折扣因子，是對未來獎勵的衰減；

S305:計算損失函數loss＝(target_q-Q(s,a,o,θ))²，采用梯度下降法進行優化，更新當前Q網絡參數。

3.根據權利要求1所述的一種基于深度隨機博弈的空戰機動策略生成技術，其特征在于：步驟S4中生成最優機動策略的方法是根據公式使用訓練好的神經網絡輸出的Q值進行線性規劃求解得到最優策略π，紅方智能體根據策略π采用輪盤賭選法選擇動作，引導戰機占據有利態勢位置。