[發明專利]一種面向博弈的雷達對抗策略生成方法

有效

• 申請號: 202010091616.X
• 申請日: 2020-02-13
• 公開（公告）號: CN111275174B
• 公開（公告）日: 2020-09-18
• 發明（設計）人: 楊健;王沙飛;李巖;肖德政;田震;張丁
• 申請（專利權）人: 中國人民解放軍32802部隊;北京理工大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京豐浩知識產權代理事務所(普通合伙) 11781
• 代理人: 李學康

本發明提出了一種面向博弈的雷達對抗策略生成方法，步驟包括：設定對抗場景：設置雷達和干擾系統為兩個玩家，構建雷達對抗博弈樹，每個玩家設置遺憾值和對抗策略兩種神經網絡和對應的緩存區，初始化神經網絡參數；在迭代次數內遍歷K次博弈樹，交替訓練雷達和干擾方，用遺憾值緩存區數據訓練遺憾值神經網絡，之后用收集到的對抗策略緩存區數據訓練雷達和干擾方的對抗策略神經網絡，直到對抗策略神經網絡收斂。本發明相比于雷達對抗靜態博弈研究，構建了不完全信息的動態博弈模型，并在雙方均為智能的情況下，使用神經網絡近似求解了雷達和干擾系統博弈的納什均衡，通過多次動態的迭代更新得到了各自的納什均衡策略。

技術領域

本發明涉及雷達電子對抗、博弈論和人工智能的交叉技術領域，具體涉及一種面向博弈的雷達對抗策略生成方法。

背景技術

人工智能技術在電子對抗領域的應用越來越深入，雷達對抗也趨于智能化，雷達與干擾系統雙方均發展出了具有自適應甚至認知能力的智能算法，從雙方動態博弈的角度研究雷達電子對抗問題是重要的發展方向。

目前認知電子對抗領域主要關注雷達或干擾方單方面的智能算法研究，如認知雷達的波形優化、目標檢測、識別與跟蹤技術；以及干擾方的自適應干擾決策、干擾效果評估技術等。當前的干擾對抗策略生成，只關注單方的算法的優化，如使用強化學習的方法，通過多次的對抗交互，生成自身的最優策略，該方法并沒有考慮到雷達方本身策略變化的情況，而隨著雙方系統的不斷智能化，僅關注單方的策略是遠遠不夠的，要同時考慮到對手的策略變化，才能得到更加有效的策略。

博弈論是研究兩人或多人謀略和決策的理論。雙人零和博弈指的是兩個玩家進行對抗，且這兩個玩家的收益總和為零的博弈。雙人零和博弈的求解目標是求解納什均衡，即一種平衡狀態，在該狀態下，任何一方玩家改變策略將會降低自身的收益。雷達和干擾方的對抗過程可看作雙人零和博弈，求解納什均衡就可以得到雙方各自的策略。

現有的雷達對抗博弈主要研究靜態完全信息的雙人零和博弈，對抗雙方對對手的動作空間以及盈利函數有完全的了解，最后求得的對抗策略也是固定的，而在實際復雜的電磁環境下，這種靜態的策略無法應對多變的對手，且容易讓對手推測自身的策略，從而無法在對抗中取得勝利。

發明內容

本發明的目的是提供一種面向博弈的雷達對抗策略生成方法，它可以克服現有技術的不足，應用于雷達對抗場景，在信息不完全的場景下，對抗雙方在博弈中動態更新自身的策略，對于認知雷達以及認知對抗技術的發展也具有重要意義。

本發明的技術方案如下，一種面向博弈的雷達對抗策略生成方法，具體步驟如下：

步驟1：將雷達和干擾系統看作博弈的兩個玩家，設定對抗場景：設定雷達有N_radar個工作狀態，干擾方有N_jam個干擾樣式，設定雷達工作狀態轉換回報表，從根節點root出發構建雷達對抗博弈樹，設置N_info個節點需要得出對抗策略，每個節點設置其對應的玩家信息集I，每個節點有唯一且固定的玩家做出選擇動作，每個可選動作用a_i,表示，i＝1,2,…,n，n是可選動作數量，用I_l,l＝1,…N_info表示需要得出對抗策略的節點的信息集，在樹的每個終止節點根據狀態轉換回報表設置雷達和干擾系統的效用值；

設定迭代次數N_iter和每次迭代中博弈樹從root節點開始的遍歷次數K，設定對抗策略神經網絡的訓練頻率N_s，設定神經網絡的訓練次數N_nn，設置判斷對抗策略是否收斂的閾值θ；