[發明專利]一種基于深度強化學習的偽裝干擾波形生成方法

有效

• 申請號: 202110632548.8
• 申請日: 2021-06-07
• 公開（公告）號: CN113406579B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 高敬鵬;王國軒;馬靜;綦俊煒;王廷飛;高路;江志燁;鄭沛
• 申請（專利權）人: 哈爾濱工程大學
• 主分類號: G01S7/38
• 分類號: G01S7/38
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于深度強化學習的偽裝干擾波形生成方法，其特征在于，包括以下步驟：

步驟1：獲取干擾設備的干擾樣式編號集合K、干擾信號功率取值區間P、干擾信號帶寬取值區間B；

步驟2：構造訓練數據集；

步驟2.1：在雷達對目標進行探測時，干擾設備通過截獲雷達信號，獲取當前雷達狀態s；

s＝{T₁,T₂,f}

其中，T₁為雷達的發射信號脈寬，T₂為雷達的發射信號周期，f為雷達的發射信號中心頻率；

步驟2.2：干擾設備隨機選擇動作a＝{k,p,b}，產生干擾信號g對雷達進行干擾；其中，k為干擾信號g所屬的干擾樣式的編號，k∈K；p為干擾信號g的功率，p∈P；b為干擾信號g的帶寬，b∈B；

步驟2.3：干擾設備獲取雷達在受到干擾后的狀態s′

s′＝{T′₁,T′₂,f′}；

步驟2.4：計算動作a的獎勵值r，生成訓練樣本(s,a,r,s′)；

P_d＝x_t^-1[10lg(VG_rσR_t^-4)]

其中，為雷達接收機處的信噪比反函數；為雷達接收機處的信干比反函數；V是雷達的性能參數；G_r為雷達天線接收增益；R_t為雷達與目標的徑向距離；σ為目標RCS；V_m是干擾機的性能參數；G_m為干擾機天線發射增益；R_m為雷達與干擾機的徑向距離；E_m為時域、空域、頻域與增益域影響因素之和；η為干擾信號對雷達接受機帶寬的覆蓋率，與干擾信號帶寬b和干擾樣式k有關；

步驟2.5：重復步驟2.1至步驟2.4，直至獲取預設數量的訓練樣本；

步驟3：使用訓練數據集訓練EMDQN網絡；訓練完成的EMDQN可根據輸入的雷達狀態s輸出對應獎勵值r最大的動作a；

步驟4：獲取雷達可識別的干擾類型，構建干擾類型編號集合C；訓練雷達智能識別網絡，標注訓練數據集中各訓練樣本(s,a,r,s′)的動作a對應的干擾信號g對應的雷達可識別的干擾類型的編號m，得到標注后的訓練樣本(s,a,r,s′,m)，m∈C；

步驟4.1：取訓練數據集中的部分訓練樣本構建集合X₁，其余樣本組成集合X₂；

步驟4.2：對于集合X₁中的各訓練樣本(s,a,r,s′)進行人工標注，根據動作a＝{k,p,b}對應的干擾信號g所屬的雷達可識別的干擾類型，標注干擾信號g對應的雷達可識別的干擾類型編號m；

步驟4.3：使用標注后的集合X₁訓練雷達智能識別網絡；訓練完成的雷達智能識別網絡可根據輸入的干擾信號g輸出對應的干擾類型編號m；

所述的雷達智能識別網絡以分類交叉熵作為損失函數，其表示為：

L₁＝-p(x)log(q(x))

其中，p(x)為真實概率分布，q(x)為預測概率分布；

步驟4.4：將集合X₂輸入訓練好的雷達智能識別網絡中進行標注；

步驟5：使用標注后的訓練數據集訓練偽裝生成網絡；

步驟5.1：對于標注后的訓練樣本(s,a,r,s′,m)，取動作a＝{k,p,b}對應的干擾信號g的干擾樣式編號k與隨機噪聲z拼接，作為偽裝生成網絡的輸入y＝[z,k]；偽裝生成網絡輸出偽裝信號h；

步驟5.2：將偽裝信號h與干擾信號g疊加為信號f＝g+h，將信號f輸入雷達智能識別網絡中，雷達智能識別網絡輸出識別到的干擾類型編號n；

步驟5.3：若不滿足訓練截止條件，則計算偽裝生成網絡的損失函數L₂，并采用梯度下降法更新網絡參數后返回步驟5.1；若滿足訓練截止條件，則輸出完成訓練的偽裝生成網絡；

L₂＝-||m-n||₂

步驟6：干擾設備通過截獲雷達信號，獲取當前雷達狀態s；將雷達狀態s輸入訓練完成的EMDQN中，得到動作a＝{k,p,b}；根據動作a中k、p、b參數值得到干擾信號g；將干擾信號g的干擾樣式編號k和隨機噪聲z進行拼接，作為偽裝生成網絡的輸入，得到偽裝信號h；將偽裝信號h與干擾信號g疊加，得到偽裝干擾波形。