[發明專利]面向遺傳模糊推理的隨機策略轉化方法

在審

• 申請號: 201810797815.5
• 申請日: 2018-07-19
• 公開（公告）號: CN109165739A
• 公開（公告）日: 2019-01-08
• 發明（設計）人: 費思邈;管聰;楊芳
• 申請（專利權）人: 中國航空工業集團公司沈陽飛機設計研究所
• 主分類號: G06N5/04
• 分類號: G06N5/04
• 代理公司: 北京航信高科知識產權代理事務所(普通合伙) 11526
• 代理人: 王子溟

本發明公開了一種面向遺傳模糊推理的隨機策略轉化方法，包括：假設模糊推理樹所代表的策略用π(s,θ)＝a表示，由于模糊推理樹是由多個模糊推理系統組成，因此，將策略改寫成π(s,FIS_i(θi_i))＝a；設定輸出動作action為分布采樣形態；利用第i個輸出節點FISout_i構建動作分布參數，形成動作生成分布；利用分布采樣技術輸出相應的動作。本發明能夠解決GFT算法模型在零和博弈中不能保證收斂到納什均衡的問題，通過將GFT由確定性策略轉化為隨機策略，使其經過充分的自博弈訓練之后具備收斂到納什均衡的能力。

技術領域

本發明飛機技術領域，具體涉及一種面向遺傳模糊推理的隨機策略轉化方法。

背景技術

GFT(genetic fuzzy tree，遺傳模糊樹)作為一種實用性較強的智能決策算法，已被證明能在高保真的模擬空戰任務中實現無人戰斗機的飛行控制和戰術決策，這說明訓練成熟的GFT算法可用于某些策略性較強的場景下的智能決策。

GFT算法使用模糊推理樹作為策略，利用遺傳算法來優化策略中的參數。然而本質上來講模糊推理樹屬于確定性策略，也就是任何時刻給定策略相同的輸入，輸出的action一定是相同的。如果采用deterministic policy策略(確定性策略)，是對每個s都有一個確定性的a，即π(s)＝a，確定性策略在大量博弈試驗中非常容易被利用。也就是說，如果對手摸清了在某一個策略輸入情況下，我方肯定會執行某個action，那么對手就會營造一個這樣的策略輸入，并利用事先準備好的action來反制我方。也就是說確定性策略并不能保證通過優化得到一個能夠戰勝所有其他策略的策略，也就是得到納什均衡點。

因此，希望有一種技術方案來克服或至少減輕現有技術的至少一個上述問題。

發明內容

本發明的目的在于提供一種面向遺傳模糊推理的隨機策略轉化方法來克服或至少減輕現有技術中的至少一個上述問題。

為實現上述目的，本發明提供了一種面向遺傳模糊推理的隨機策略轉化方法，包括：模糊推理樹所代表的策略用π(s,θ)＝a表示，由于模糊推理樹是由多個模糊推理系統組成，因此，將策略改寫成π(s,FIS_i(θ_i))＝a，其中，θ_i為模糊推理樹中第i個模糊推理系統所包含的參數，FIS_i為第i個模糊推理系統，s為，a為；設定輸出動作action為分布采樣形態；利用第i個輸出節點FISout_i構建動作分布參數，形成動作生成分布；利用分布采樣技術輸出相應的動作，其中，s為模糊推理樹的輸入量全集，a為為模糊推理樹經過隨機策略轉化最終輸出的動作值，θ_i為模糊推理樹中第i個模糊推理系統所包含的參數，FIS_i(θ_i)為模糊推理樹第i個輸出節點取值，π(s,FIS_i(θ_i))為以一定的概率閾值并且以FIS_i(θ_i)作為分布參數進行采樣。

在上述轉化方法的優選技術方案中，利用第i個輸出節點FISout_i構建動作分布參數，包括：若輸出動作為離散動作，將輸出動作作為泊松分布，則輸出節點只有一個FISout，將FISout作為輸出參數；若輸出動作為連續動作，將輸出動作作為高斯分布，則輸出節點分別有FISout₁、FISout₂，將FISout₁作為動作采樣的期望，將FISout₂作為動作采樣的標準差。

本發明能夠解決GFT算法模型在零和博弈中不能保證收斂到納什均衡的問題，通過將GFT由確定性策略轉化為隨機策略，使其經過充分的自博弈訓練之后具備收斂到納什均衡的能力。

附圖說明