[發明專利]一種基于強化學習的智能電網虛假數據注入攻擊檢測方法

有效

• 申請號: 202110486653.5
• 申請日: 2021-05-01
• 公開（公告）號: CN113268730B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 吳爭光;張闊
• 申請（專利權）人: 群智未來人工智能科技研究院（無錫）有限公司
• 主分類號: G06F21/55
• 分類號: G06F21/55;G06F21/56;G06Q50/06;G06F17/11;G06F17/16
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 杜靜靜

1.一種基于強化學習的智能電網虛假數據注入攻擊檢測方法，其特征在于，所述方法包括以下步驟：

步驟一：建立電網的一般線性模型，

步驟二：虛擬攻擊獲得樣本，

步驟三：觀察值獲取，

步驟四：使用ε貪婪策略得到t時刻檢測器動作a_t：

步驟五：使用Sarsa算法進行訓練，

步驟六：重復步驟一到步驟五直到到達階段最大檢測時間T，或與中有a_s出現；

步驟七：重復步驟一到步驟六直到將總樣本數E用盡，得到完整Q^d表與Q^s表；

步驟八：檢測，判斷系統是否受到直接虛假數據注入攻擊；

步驟一：建立電網的一般線性模型：

x_t＝Ax_t-1+v_t????(1)

y_t＝Hx_t+w_t???(2)

其中x_t＝[x_1，t，…，x_n，t，…，x_N，t]為t時刻系統狀態，x_n，t表示為t時刻第n個節點上的相角，N表示系統的總狀態數；t時刻測量值表示為y_t＝[y_1，t，…，y_m，t，…，y_M，t]，y_m，t表示為t時刻第m個測量儀表的檢測值，M表示總測量儀表值；為狀態轉移矩陣，為由電網拓撲結構決定的雅克比矩陣，表示實數集；表示t時刻系統噪聲，表示過程噪聲的方差，其值由系統決定，I_N表示N維單位矩陣；表示t時刻測量噪聲，表示測量噪聲的方差，其值測量設備決定，I_M表示M維單位矩陣；

步驟二：虛擬攻擊獲得樣本：對于直接攻擊可以使用式(3)獲得受攻擊的測量值，對于隱匿攻擊可以使用式(4)獲得受攻擊的測量值，

式中a_t表示t時刻直接攻擊的攻擊向量，Hc_t表示隱匿攻擊的攻擊向量，由于H不會隨著時間改變，因此使用c_t表示隱匿攻擊攻擊向量，a_t與c_t在樣本訓練中已知，在實際檢測中未知，τ為系統受到攻擊時間，表示階躍函數，即當有t≥τ時

步驟三：觀察值獲取：計算測量值y_t與其估計值的殘差模長，將其用作直接虛假數據注入攻擊的檢測，將當前檢測值y_t與上一時刻的檢測值y_t-1的殘差模長作為隱匿虛假數據注入攻擊的檢測，使用閾值分割法對兩個模值進行程度劃分，分別得到直接虛假數據注入攻擊即時觀察值與隱匿虛假數據注入攻擊即時觀察值，使用滑窗法將兩個即時觀察值更新至觀察值中，分別得到對應時間的直接虛假數據注入攻擊觀察值與隱匿虛假數據注入攻擊觀察值；

步驟四：使用ε貪婪策略得到t時刻檢測器動作a_t：將系統劃分為兩個狀態，分別為s_n系統未受到攻擊與s_a系統受到攻擊，將檢測器動作也分為兩個狀態a_s為算法認為系統受到攻擊發出警報，a_c表示算法認為系統未受到攻擊不發出警報，在t時刻得到直接攻擊檢測觀察值與隱匿攻擊檢測觀察值使用貪婪策略基于直接虛假數據注入攻擊檢測的Q表Qⁿ與隱匿虛假數據注入攻擊檢測的Q表Q^s對檢測器動作進行選擇，ε貪婪策略即檢測器以概率1-ε選擇最優動作、以概率ε隨機選擇動作，ε每d步更新一次，更新公式如式(5)所示

ε＝max(ε-e^-1，ε_min)???(5)

式中e為當且已經進行使用的樣本值，ε_min為人為設置的最小ε值；

步驟五：使用Sarsa算法進行訓練，使用式(4)更新Q表，

式中含有上角標i的參數表示用于檢測i類型攻擊的參數，i＝n或s，即當i＝n時表示該參數用于檢測直接攻擊，當i＝s表示該參數用于檢測隱匿攻擊，Qⁱ為檢測i類型攻擊所需要的Q表，為t時刻用于檢測i類型攻擊的觀察值，為t時刻得到后對于i類型攻擊可以采取的動作，α為學習效率，γⁱ為針對i型攻擊訓練的貼現因數，為t時刻用于檢測i型攻擊的狀態為動作為時的回報，其取值如式(7)所示，

式中r₀與b為預先確定的超前警報回報值與滯后警報回報值系數，為t時刻i類型檢測的系統狀態。