[發(fā)明專利]基于DQN的航空兵多平臺協(xié)同智能對抗決策方法

在審

• 申請?zhí)枺?/td>: 202111244551.9
• 申請日: 2021-10-26
• 公開（公告）號: CN114330093A
• 公開（公告）日: 2022-04-12
• 發(fā)明（設(shè)計）人: 李妮;王澤;董力維;劉晨
• 申請（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N3/04;G06N3/08
• 代理公司: 北京航智知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11668
• 代理人: 陳磊;張楨

1.基于DQN的航空兵多平臺協(xié)同智能對抗決策方法，其特征在于，包括：

S1基于DQN算法和規(guī)則集，構(gòu)建集調(diào)度層、編隊層、單機層的協(xié)同作戰(zhàn)行為模型作為所述集調(diào)度層、編隊層、單機層的指揮決策平臺；

S2基于航空兵多平臺空戰(zhàn)特點以及影響多平臺聯(lián)合作戰(zhàn)結(jié)果相關(guān)因素的重要等級，構(gòu)建調(diào)度層狀態(tài)空間；

S3基于航空兵體系中不同兵力編隊的作戰(zhàn)特點，構(gòu)建調(diào)度層行為空間；

S4針對具體作戰(zhàn)目標(biāo)，設(shè)計所述DQN算法中的獎勵函數(shù)；

S5基于DQN算法，形成航空兵多平臺聯(lián)合作戰(zhàn)仿真對抗的強化學(xué)習(xí)框架，并基于所述強化學(xué)習(xí)框架進行多平臺聯(lián)合指揮決策的迭代學(xué)習(xí)訓(xùn)練，獲得多平臺協(xié)同作戰(zhàn)策略。

2.根據(jù)權(quán)利要求1所述的航空兵多平臺協(xié)同智能對抗決策方法，其特征在于，所述S1，具體包括：

基于DQN算法，構(gòu)建調(diào)度層行為決策模型；

基于規(guī)則集，分別構(gòu)建所述編隊層和所述單機層作戰(zhàn)行為模型；

基于所述調(diào)度層行為決策模型、所述編隊層作戰(zhàn)行為模型和所述單機層作戰(zhàn)行為模型，構(gòu)成協(xié)同作戰(zhàn)行為模型。

3.根據(jù)權(quán)利要求1所述的航空兵多平臺協(xié)同智能對抗決策方法，其特征在于，所述S2，具體包括：

根據(jù)航空兵多平臺空戰(zhàn)特點和影響多平臺聯(lián)合作戰(zhàn)結(jié)果相關(guān)因素的重要等級，提取關(guān)鍵元素構(gòu)建調(diào)度層DQN算法的狀態(tài)空間向量，其中，關(guān)鍵元素包括敵我雙方飛機的坐標(biāo)位置、敵我雙方兵力類型、敵我雙方航向、我方攜彈量以及敵我雙方探測信息域覆蓋比；

基于所述狀態(tài)空間向量，對航空兵多平臺聯(lián)合對抗戰(zhàn)場態(tài)勢進行數(shù)學(xué)化表示，構(gòu)建所述調(diào)度層狀態(tài)空間。

4.根據(jù)權(quán)利要求1所述的航空兵多平臺協(xié)同智能對抗決策方法，其特征在于，所述S3，具體包括：

基于航空兵體系中不同兵力編隊的作戰(zhàn)特點，形成不同兵力平臺編隊的可執(zhí)行任務(wù)集合，基于所述可執(zhí)行任務(wù)集合，構(gòu)成航空兵多平臺裝備的所述調(diào)度層行為空間。

5.根據(jù)權(quán)利要求4所述的航空兵多平臺協(xié)同智能對抗決策方法，其特征在于，所述S3，還包括：

設(shè)計所述DQN輸出的動作解析算法，并基于所述DQN輸出的動作解析算法建立所述DQN算法輸出的單一動作序號與多平臺航空兵裝備動作空間的映射關(guān)系。

6.根據(jù)權(quán)利要求1所述的航空兵多平臺協(xié)同智能對抗決策方法，其特征在于，所述S4，具體包括：

針對具體的作戰(zhàn)目標(biāo)，設(shè)計獎勵函數(shù)的組成元素，其中，組成元素包括不同兵力實體的損失數(shù)量、我方信息探測范圍與敵方信息探測范圍的比值；

基于所述獎勵函數(shù)的組成元素，根據(jù)不同兵力平臺對最終作戰(zhàn)目標(biāo)的重要程度，確定獎勵函數(shù)各組成元素的權(quán)重系數(shù)；

基于所述獎勵元素和所述權(quán)重系數(shù)構(gòu)建獎勵函數(shù)。

7.根據(jù)權(quán)利要求6所述的航空兵多平臺協(xié)同智能對抗決策方法，其特征在于，所述獎勵函數(shù)，由獎勵值和懲罰值兩部分組成。

8.根據(jù)權(quán)利要求1所述的航空兵多平臺協(xié)同智能對抗決策方法，其特征在于，所述S5，包括：

基于DQN算法，融合所述調(diào)度層狀態(tài)空間、所述調(diào)度層行為空間以及所述獎勵函數(shù)，構(gòu)建航空兵多平臺聯(lián)合作戰(zhàn)仿真對抗的強化學(xué)習(xí)框架；

基于所述強化學(xué)習(xí)框架進行多平臺聯(lián)合指揮決策的迭代學(xué)習(xí)訓(xùn)練，獲得航空兵多平臺協(xié)同智能對抗策略。