[發(fā)明專利]一種決策網絡模型自博弈訓練方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201811410380.0
• 申請日: 2018-11-23
• 公開（公告）號: CN109598342B
• 公開（公告）日: 2021-07-13
• 發(fā)明（設計）人: 任金磊;路鷹;張耀磊;李君;黃虎;鄭本昌;張佳;晁魯靜;倪越;呂靜
• 申請（專利權）人: 中國運載火箭技術研究院
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 中國航天科技專利中心 11009
• 代理人: 范曉毅

1.一種用于船舶位置預判的決策網絡模型自博弈訓練方法，其特征在于：包括如下步驟：

步驟一、采用模擬退火算法對EN網絡的初始網絡參數(shù)進行變異，變異后得到紅方EN網絡和藍方EN網絡；

步驟二、將步驟一中所述的紅方EN網絡和藍方EN網絡放入對抗環(huán)境進行博弈對抗，記錄對抗關鍵節(jié)點的決策數(shù)據(jù)和EN值；

步驟三、對步驟二中博弈對抗的勝利方的決策數(shù)據(jù)和EN值作為有效樣本進行保存，將失敗方的數(shù)據(jù)淘汰；

步驟四、根據(jù)步驟三中的有效樣本對EN網絡進行訓練，獲得優(yōu)化后的網絡參數(shù)，將優(yōu)化后的網絡參數(shù)作為新的初始網絡參數(shù)；

步驟五、循環(huán)重復步驟一到步驟四，實現(xiàn)自博弈訓練；利用訓練好的EN網絡對船舶位置進行預判。

2.根據(jù)權利要求1所述的一種用于船舶位置預判的決策網絡模型自博弈訓練方法，其特征在于：步驟二中所述對抗環(huán)境為非完備條件的對稱博弈對抗場景。

3.根據(jù)權利要求1所述的一種用于船舶位置預判的決策網絡模型自博弈訓練方法，其特征在于：利用反向傳播算法對步驟四中的有效樣本進行學習，然后灌入EN網絡進行訓練。

4.根據(jù)權利要求1所述的一種用于船舶位置預判的決策網絡模型自博弈訓練方法，其特征在于：步驟一中所述采用模擬退火算法對初始網絡參數(shù)進行變異，該初始網絡參數(shù)的變異為隨機變異。

5.根據(jù)權利要求1所述的一種用于船舶位置預判的決策網絡模型自博弈訓練方法，其特征在于：所述EN網絡由多個EN子網絡構成，每個EN子網絡的特征輸入為同類型，每個EN子網絡的網絡結構均相同。

6.根據(jù)權利要求1所述的一種用于船舶位置預判的決策網絡模型自博弈訓練方法，其特征在于：所述步驟五的循環(huán)重復次數(shù)大于等于10萬次。

7.根據(jù)權利要求1所述的一種用于船舶位置預判的決策網絡模型自博弈訓練方法，其特征在于：所述決策網絡模型為單輸出的決策網絡模型。

8.一種用于船舶位置預判的決策網絡模型自博弈訓練系統(tǒng)，其特征在于：包括網絡參數(shù)變異模塊、博弈對抗模塊、數(shù)據(jù)選取模塊、網絡訓練模塊、循環(huán)重復模塊；

所述網絡參數(shù)變異模塊采用模擬退火算法對EN網絡的初始網絡參數(shù)進行變異，獲得變異后的紅方EN網絡和藍方EN網絡然后輸出給所述博弈對抗模塊；

所述博弈對抗模塊將變異后的紅方EN網絡和藍方EN網絡放入對抗環(huán)境中進行博弈對抗，記錄對抗關鍵節(jié)點的決策數(shù)據(jù)和EN值然后輸出給所述數(shù)據(jù)選取模塊；

所述數(shù)據(jù)選取模塊將博弈對抗的勝利方的決策數(shù)據(jù)和EN值作為有效樣本進行保存，然后將保存的決策數(shù)據(jù)和EN值輸出給所述網絡訓練模塊；

所述網絡訓練模塊根據(jù)有效樣本對EN網絡進行訓練，獲得優(yōu)化后的網絡參數(shù)，將優(yōu)化后的網絡參數(shù)作為新的初始網絡參數(shù)輸出給所述循環(huán)重復模塊；

所述循環(huán)重復模塊將初始網絡參數(shù)輸出給所述網絡參數(shù)變異模塊，實現(xiàn)自博弈訓練；利用訓練好的EN網絡對船舶位置進行預判。

9.根據(jù)權利要求8所述的一種用于船舶位置預判的決策網絡模型自博弈訓練系統(tǒng)，其特征在于：所述網絡訓練模塊利用反向傳播算法對有效樣本進行學習，然后灌入EN網絡進行訓練。

10.根據(jù)權利要求8所述的一種用于船舶位置預判的決策網絡模型自博弈訓練系統(tǒng)，其特征在于：所述網絡參數(shù)變異模塊采用模擬退火算法對初始網絡參數(shù)進行變異，該初始網絡參數(shù)的變異為隨機變異。

11.根據(jù)權利要求8所述的一種用于船舶位置預判的決策網絡模型自博弈訓練系統(tǒng)，其特征在于：所述博弈對抗模塊中的對抗環(huán)境為非完備條件的對稱博弈對抗場景。