[發明專利]一種用于非對稱對抗場景自博弈訓練的對稱場景嫁接方法

在審

• 申請號: 202011364611.6
• 申請日: 2020-11-27
• 公開（公告）號: CN112380780A
• 公開（公告）日: 2021-02-19
• 發明（設計）人: 張佳;路鷹;任金磊;黃虎;李君;鄭本昌;王振亞;吳志壕;閻巖;韓特;古月;劉岱
• 申請（專利權）人: 中國運載火箭技術研究院
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N3/04;G06N3/08
• 代理公司: 中國航天科技專利中心 11009
• 代理人: 張曉飛

1.一種用于非對稱對抗場景自博弈訓練的對稱場景嫁接方法，其特征在于步驟如下：

1)完成對稱場景設計；

2)開展EN網絡模型的設計；

3)在步驟2)的基礎上，開展基于誤差反向傳播算法的參數訓練；

4)在步驟3)的基礎上，進行場景構建；

5)在完成1)～4)的基礎上，開展對抗場景的新型EN網絡模型訓練及試驗，完成嫁接后對稱場景的評價與評估。

2.根據權利要求1所述的一種用于非對稱對抗場景自博弈訓練的對稱場景嫁接方法，其特征在于：所述步驟1)的具體過程為：構建對稱嫁接場景，在不缺失任何對抗特征的條件下，使不同裝備武裝的場景轉換為對稱場景；根據對航天領域裝備對抗的理解和場景中各功能級模型開發過程中的經驗以及不同裝備武裝的條件下人機對抗過程中的大量總結，從影響EN網絡的眾多因素中，包括艦船當前所處位置、艦船位置預判、發射陣地位置、血值、裝彈量、雙方距離，提取敵方艦船所處的位置以及血值兩個主要因素作為EN網絡輸入，實現自博弈訓練方法在航天裝備對抗效能評估中的適應性改造和成功應用。

3.根據權利要求1所述的一種用于非對稱對抗場景自博弈訓練的對稱場景嫁接方法，其特征在于：所述步驟2)的具體過程為：整個EN網由若干個子網構成{EN1，EN2，……，ENn}，每個EN子網擁有同類型的特征輸入、相同的網絡結構，各個子網的輸出作為輸入同樣通過全連接結構相連，最終得到整個EN的輸出。

4.根據權利要求3所述的一種用于非對稱對抗場景自博弈訓練的對稱場景嫁接方法，其特征在于：所述步驟2)的具體過程為：EN網絡采用兩個子EN{EN1，EN2}構成，EN1的網絡輸入特征為五艘艦船的血值hp，網絡為四層網絡，其中隱藏層數為兩層，輸入hp特征參數為離散化空間{0，1，2，3，4，5，6}中的取值，輸出為一維實數空間，代表由艦船血值決定的我方或敵方的力量強弱，當hp較高時EN1輸出較大，隨著hp的減小EN1逐漸減??；EN1網絡第一個輸入為旗艦的血值；

EN2的網絡輸入特征為五艘艦船的位置，即被探測狀態Ship_Detect，其網絡結構與EN1網絡結構相同，EN2代表由艦船是否被探測到決定的我方或敵方的力量強弱，被探測狀態于EN2的取值成反比關系，即當艦船未被探測到時EN2較大，隨著艦船逐一被探測，EN2將逐漸減小。

整個EN由EN1和EN2構成，通過一個三層全連接網絡構成，通過網絡形成的EN自動調節EN1和EN2非線性關系，經過訓練在對抗中達到更好的效果；對于勝利方拿到樣本后需要訓練兩個EN網絡：我方EN和地方EN，兩個網絡結構相同，但具體參數不同。

5.根據權利要求3所述的一種用于非對稱對抗場景自博弈訓練的對稱場景嫁接方法，其特征在于：所述步驟4)中，場景構建采用模擬退火算法實現態勢價值網絡的變異。

6.根據權利要求4所述的一種用于非對稱對抗場景自博弈訓練的對稱場景嫁接方法，其特征在于：所述步驟5)中EN訓練循環步驟如下：

51)初態EN0根據網絡模型從[-10,10]中隨機選取網絡參數記為W₀；

52)根據模擬退火算法初始溫度t₀對W₀進行變異，生成兩個變異價值網EN0A、EN0B，其參數記為W_0A、W_0B；

53)變異后的兩個網絡放入對抗系統進行100局自博弈對抗，將勝利方的樣本作為有效樣本保留，失敗方的數據淘汰；

54)用100局的有效樣本采用誤差反向傳播算法對EN0的網絡參數W₀進行訓練，訓練后得到進化的網絡EN1，對應的網絡參數為W₁；

55)根據降溫系數a＝0.5取新的溫度，對EN1進行變異，變異后重復步驟53)，達到自博弈循環效果；

56)采用基于相同知識規則的AD和MD對EN網絡進行博弈訓練，對EN網絡訓練結果的試驗通過人機對抗階段測試體現。