[發明專利]基于資格跡和在線更新式的電力信息系統安全策略系統

有效

• 申請號: 201810103376.3
• 申請日: 2018-02-01
• 公開（公告）號: CN108418800B
• 公開（公告）日: 2020-08-04
• 發明（設計）人: 朱燕;王月娟;吳水明;朱斐
• 申請（專利權）人: 國網江蘇省電力有限公司蘇州供電分公司
• 主分類號: H04L29/06
• 分類號: H04L29/06
• 代理公司: 蘇州翔遠專利代理事務所(普通合伙) 32251
• 代理人: 陸金星;姚惠菱

本發明公開了一種基于資格跡和在線更新式的電力信息系統安全策略系統，包括設備網絡、若干攻擊智能體以及若干防御智能體，若干攻擊智能體同時攻擊設備網絡，若干防御智能體同時防御若干攻擊智能體，攻擊智能體的目標是自某個一般計算機設備入侵某個重要計算機設備，防御智能體的目標是防止重要計算機設備被入侵，在對抗過程中，防御智能體可以通過增加防御值來提高對某種類型攻擊的防御能力，隨著防御值的提高，攻擊智能體使用特定類型的入侵該節點變得越來越困難，但其他計算機節點能使用該計算機節點的服務的便利性也下降。因此，整體電力信息系統的總體防御值小于等于預設值。通過模擬對抗，以最小的防御代價，獲得最優的安全策略。

技術領域

本發明涉及一種電力信息系統安全領域，具體涉及一種基于資格跡和在線更新式的電力信息系統安全策略系統。

背景技術

電力信息系統是當今社會賴以存在的重要保障。安全、穩定的電力信息系統是電力供應的基本保障。隨著社會的發展，全社會用電量不斷增長導致電力信息系統越來越復雜，因此電力信息系統也需要不斷升級改進，以滿足日益增長的需求。在電力信息系統功能越來越強大的同時，電力信息系統規模也變得越來越大。面對越來越復雜的電力信息系統，如何有效地保障電力信息系統的安全與穩定成為了一項緊迫又復雜的任務?，F實環境中，電力信息系統遭受攻擊的種類多樣，攻擊強度不一，單純增加計算機防御能力會消耗極大的計算資源，因此，如何快速地預測攻擊智能體的攻擊類型和強度，合理分配電力信息系統各個節點的計算資源顯得尤為重要。

很多研究人員利用各種機器學習方法對已知的計算資源進行預先分配。然而，隨著電力信息系統規模不斷增加，電力信息系統中的未知性、不確定性會越來越多，這些未知性、不確定性會隨著電力信息系統的變化而動態變化，因此，研究人員很難預先對電力信息系統計算資源進行合理的分配，預備的電力信息系統安全防護機制也無法應用于實際情況。此外，面對復雜的電力信息系統環境，維護人員在遇到突發問題后很難快速找到故障原因。綜上所述，設計一種能夠快速在線式學習電力信息系統的安全控制系統來全面保障電力信息系統迫在眉睫。

強化學習(Reinforcement Learning)可以使智能體通過不斷地試錯學習來更新自己的模型。目前，強化學習在在線學習方面表現出了良好的性能。如何通過強化學習獲得電力信息系統安全策略是本領域亟待解決的問題。

發明內容

在本發明中，攻擊智能體和防御智能體模擬對抗在線式學習的安全策略。在模擬的對抗過程中，攻擊智能體試圖以最小的代價攻擊電力信息系統的計算機，而防御智能體則盡力以最小的代價保護電力信息系統，防止其被攻克。攻擊智能體采用Sarsa算法攻擊策略，防御智能體采用利用最優初始值和資格跡的Sarsa(λ)防御策略。兩個智能體均通過學習算法獲得最大的收益。

電力信息系統由作為節點的計算機設備和作為邊的線路按照某種拓撲結構連接而成。計算機設備是電力信息系統中的計算機，如服務器，計算機設備通過線路連接，當且僅當計算機設備之間有線路連接時，可以從一個計算機設備訪問另一個計算機設備。有以下三種類型的計算機設備：起始計算機設備，是攻擊智能體在對抗訪問游戲起始階段的計算機設備；目標計算機設備，是電力信息系統中包含有價值數據的計算機設備，是“重要”計算機設備，不能被入侵，否則將遭受較大的損失，對電力信息系統造成的影響較大，如果攻擊智能體成功攻擊該目標計算機設備，則以攻擊智能體勝利結束；中間計算機設備，位于起始計算機設備和目標計算機設備之間，為了到達目標計算機設備，需要攻擊這些中間計算機設備，以形成一條從起始計算機設備到目標計算機設備的電力信息系統通路，這些中間計算機設備是“一般”計算機設備，如果被入侵，則損失相對較小，對電力信息系統造成的影響也較小。

電力信息系統包括了若干“一般”計算機設備和若干“重要”計算機設備。攻擊智能體可以選擇任意的一個“一般”計算機設備作為“起始”計算機設備，選擇一個“重要”計算機設備作為“目標”計算機設備展開攻擊。在攻擊的過程中，每個計算機設備都有可能成為攻擊智能體的目標。