[發(fā)明專(zhuān)利]基于強(qiáng)化學(xué)習(xí)的多彈協(xié)同攻擊制導(dǎo)律設(shè)計(jì)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110007293.6
• 申請(qǐng)日: 2021-01-05
• 公開(kāi)（公告）號(hào): CN112799429B
• 公開(kāi)（公告）日: 2022-03-29
• 發(fā)明（設(shè)計(jì)）人: 陳萬(wàn)春;陳中原;岳新成
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京航空航天大學(xué)
• 主分類(lèi)號(hào): G05D1/10
• 分類(lèi)號(hào): G05D1/10;G06F30/27
• 代理公司: 北京慧泉知識(shí)產(chǎn)權(quán)代理有限公司 11232
• 代理人: 李娜;王順榮

1.一種基于強(qiáng)化學(xué)習(xí)的多彈協(xié)同攻擊制導(dǎo)律設(shè)計(jì)方法，其特征在于，包括如下步驟：

步驟1，構(gòu)造狀態(tài)空間S＝[r₁…r_i…r_nξ₁…ξ_i…ξ_n]^T；

其中，n為導(dǎo)彈數(shù)量，r_i為第i枚導(dǎo)彈和目標(biāo)的相對(duì)距離，第i枚導(dǎo)彈估計(jì)剩余飛行時(shí)間的誤差第i枚導(dǎo)彈獲取第j枚導(dǎo)彈的信息時(shí)a_ij＝1，第i枚導(dǎo)彈無(wú)法獲取第j枚導(dǎo)彈的信息時(shí)a_ij＝0，為第i枚導(dǎo)彈的剩余飛行時(shí)間，為第j枚導(dǎo)彈的剩余飛行時(shí)間，為非線性函數(shù)；

步驟2，設(shè)計(jì)協(xié)同制導(dǎo)律并構(gòu)造動(dòng)作空間；

協(xié)同制導(dǎo)律結(jié)構(gòu)為其中，a_Mi為第i枚導(dǎo)彈的加速度，為第i枚導(dǎo)彈的傳統(tǒng)的比例導(dǎo)引律，為第i枚導(dǎo)彈的協(xié)同控制項(xiàng)；動(dòng)作空間為制導(dǎo)律中的動(dòng)作

步驟3，構(gòu)造獎(jiǎng)勵(lì)函數(shù)

其中，r_i(0)為第i枚導(dǎo)彈和目標(biāo)的初始相對(duì)距離，X₁取值范圍為0.1至0.5，X₂取值范圍為8至12，X₃取值范圍為0.8至1.2，X₄取值范圍為8至12，X₅取值范圍為8至12，X₆取值范圍為0.01至0.03；

步驟4，用隨機(jī)參數(shù)θ_Q初始化Critic網(wǎng)絡(luò)Q(S,A)，用隨機(jī)參數(shù)θ_Q′初始化目標(biāo)Critic網(wǎng)絡(luò)Q′(S,A)，用隨機(jī)參數(shù)θ_μ初始化Actor網(wǎng)絡(luò)μ(S)，用隨機(jī)參數(shù)θ_μ′初始化目標(biāo)Actor網(wǎng)絡(luò)μ′(S′)；本步驟的θ_Q，θ_μ，θ_Q′，θ_μ′均為隨機(jī)參數(shù)，無(wú)具體含義；

步驟5，對(duì)于訓(xùn)練中的每個(gè)步長(zhǎng)，采用強(qiáng)化學(xué)習(xí)算法更新Critic網(wǎng)絡(luò)Q(S,A)、Actor網(wǎng)絡(luò)μ(S)、目標(biāo)Critic網(wǎng)絡(luò)Q′(S,A)和目標(biāo)Actor網(wǎng)絡(luò)μ′(S′)，直到滿足終止條件。