[發(fā)明專利]基于DDPG的發(fā)射資源智能認(rèn)知管理方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110111918.3
• 申請(qǐng)日: 2021-01-27
• 公開（公告）號(hào): CN112991384B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計(jì)）人: 糾博;劉宏偉;袁格升;時(shí)玉春
• 申請(qǐng)（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246;G06N3/0442;G06N3/092
• 代理公司: 西安嘉思特知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61230
• 代理人: 劉長(zhǎng)春

1.一種基于DDPG的發(fā)射資源智能認(rèn)知管理方法，其特征在于，包括：

構(gòu)建并訓(xùn)練LSTM預(yù)測(cè)網(wǎng)絡(luò)；

利用深度強(qiáng)化學(xué)習(xí)智能體感知環(huán)境，以獲取目標(biāo)狀態(tài)的觀測(cè)值；

將所述目標(biāo)狀態(tài)的觀測(cè)值輸入已訓(xùn)練的LSTM預(yù)測(cè)網(wǎng)絡(luò)，得到目標(biāo)的先驗(yàn)信息表示；

將所述目標(biāo)的先驗(yàn)信息表示輸入Actor-Critic網(wǎng)絡(luò)，得到動(dòng)作向量，具體包括：

將所述目標(biāo)的先驗(yàn)信息表示輸入Actor-Critic網(wǎng)絡(luò)，得到動(dòng)作向量，包括：

建立DDPG的Actor-Critic網(wǎng)絡(luò)；

設(shè)置所述Actor-Critic網(wǎng)絡(luò)的動(dòng)作和回報(bào)：

設(shè)置第k時(shí)刻的動(dòng)作為：

a_k＝[δ_k,X_k,P_k]；

其中，δ_k為波束的個(gè)數(shù)，X_k控制每個(gè)波束的指向，P_k＝[P_1,k,...,P_q,k,...,P_Q,k]控制每個(gè)波束分配的功率，Q為目標(biāo)的個(gè)數(shù)；

設(shè)置第k時(shí)刻的回報(bào)為：

r_k＝-F(P_k,z_k)；

其中，z_k＝[z_1,k,...,z_q,k,...,z_Q,k]為波束選擇向量，由δ_k和X_k確定得到，且

其中，max(·)為取最大值操作，為開平方根操作，Tr(·)為矩陣的求跡運(yùn)算，為第k時(shí)刻第q個(gè)目標(biāo)的先驗(yàn)信息FIM矩陣，(·)^-1為矩陣求逆運(yùn)算，為目標(biāo)狀態(tài)觀測(cè)值相對(duì)于一步預(yù)測(cè)的雅克比矩陣，(·)^T為矩陣轉(zhuǎn)置運(yùn)算，為觀測(cè)誤差的協(xié)方差矩陣；

將所述目標(biāo)的先驗(yàn)信息表示輸入到所述Actor-Critic網(wǎng)絡(luò)，并采用DDPG算法進(jìn)行訓(xùn)練，輸出動(dòng)作向量；

根據(jù)所述動(dòng)作向量生成發(fā)射波束并分配功率，以實(shí)現(xiàn)發(fā)射資源的智能管理。

2.根據(jù)權(quán)利要求1所述的基于DDPG的發(fā)射資源智能認(rèn)知管理方法，其特征在于，所述構(gòu)建并訓(xùn)練LSTM預(yù)測(cè)網(wǎng)絡(luò)，包括：

構(gòu)建LSTM預(yù)測(cè)網(wǎng)絡(luò)，并生成訓(xùn)練數(shù)據(jù)集；

構(gòu)建所述LSTM預(yù)測(cè)網(wǎng)絡(luò)的代價(jià)函數(shù)；

根據(jù)所述訓(xùn)練數(shù)據(jù)集和所述代價(jià)函數(shù)訓(xùn)練所述LSTM預(yù)測(cè)網(wǎng)絡(luò)。

3.根據(jù)權(quán)利要求1或2所述的基于DDPG的發(fā)射資源智能認(rèn)知管理方法，其特征在于，所述LSTM預(yù)測(cè)網(wǎng)絡(luò)包括兩層結(jié)構(gòu)，其中，每層結(jié)構(gòu)均包括64個(gè)神經(jīng)元。

4.根據(jù)權(quán)利要求2所述的基于DDPG的發(fā)射資源智能認(rèn)知管理方法，其特征在于，所述LSTM網(wǎng)絡(luò)的代價(jià)函數(shù)為：

其中，

θ^R為L(zhǎng)STM預(yù)測(cè)網(wǎng)絡(luò)的參數(shù)，為第k時(shí)刻第q個(gè)目標(biāo)的狀態(tài)，分別為其在x軸方向的坐標(biāo)和速度，分別為其在y軸方向的坐標(biāo)和速度，分別為其RCS的實(shí)部和虛部，(·)^T為矩陣的轉(zhuǎn)置運(yùn)算，(·)^-1為矩陣的求逆運(yùn)算，為第k-1時(shí)刻對(duì)第k時(shí)刻目標(biāo)狀態(tài)的一步預(yù)測(cè)，且第k-1時(shí)刻對(duì)第k時(shí)刻目標(biāo)狀態(tài)的一步預(yù)測(cè)服從6維的高斯分布，為一步預(yù)測(cè)的協(xié)方差矩陣。

5.根據(jù)權(quán)利要求1所述的基于DDPG的發(fā)射資源智能認(rèn)知管理方法，其特征在于，所述深度強(qiáng)化學(xué)習(xí)智能體為雷達(dá)。

6.根據(jù)權(quán)利要求1所述的基于DDPG的發(fā)射資源智能認(rèn)知管理方法，其特征在于，所述目標(biāo)狀態(tài)的觀測(cè)值采用向量表示；其中，第k時(shí)刻第q個(gè)目標(biāo)的狀態(tài)觀測(cè)值包括當(dāng)前目標(biāo)的距離、角度、多普勒頻率以及雷達(dá)截面積RCS。

7.根據(jù)權(quán)利要求1所述的基于DDPG的發(fā)射資源智能認(rèn)知管理方法，其特征在于，所述目標(biāo)的先驗(yàn)信息表示包括目標(biāo)狀態(tài)分量的方差和不同分量的相關(guān)系數(shù)。

8.根據(jù)權(quán)利要求1所述的基于DDPG的發(fā)射資源智能認(rèn)知管理方法，其特征在于，所述Actor-Critic網(wǎng)絡(luò)包括Actor網(wǎng)絡(luò)和Critic網(wǎng)絡(luò)，所述Actor網(wǎng)絡(luò)包括三個(gè)子網(wǎng)絡(luò)Actor1、Actor2、Actor3，其中，所述Actor1子網(wǎng)絡(luò)用于輸出發(fā)射波束的個(gè)數(shù)，所述Actor2子網(wǎng)絡(luò)用于輸出每個(gè)波束的指向；所述Actor3子網(wǎng)絡(luò)用于輸出每個(gè)波束的發(fā)射功率。