[發明專利]一種基于圖深度強化學習的電網低壓減載緊急控制方法

在審

• 申請號: 202210284930.9
• 申請日: 2022-03-22
• 公開（公告）號: CN114865638A
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 楊軍;裴洋舟;王駿東;馮華;陳曉剛;章姝俊
• 申請（專利權）人: 武漢大學;國網浙江省電力有限公司
• 主分類號: H02J3/14
• 分類號: H02J3/14;H02J3/00;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 許蓮英

本發明涉及一種基于圖深度強化學習的電網低壓減載緊急控制方法。該方法基于電力系統算例規模設計拓撲變化場景和低壓減載策略；采樣系統拓撲多時刻觀測值構建節點特征矩陣；基于FastGCN?D3QN圖深度強化學習提取有效樣本特征，訓練并建立電力系統低壓減載緊急控制模型；利用訓練完成的低壓減載模型進行預測獲取系統緊急控制方案?，F有基于傳統深度強化學習的低壓減載方法難以適應電網拓撲變化，無法提供準確和可靠的控制方案；而改進的FastGCN方法可對非歐式空間數據進行建模，提取拓撲頻繁變化的電網拓撲特征，但是缺乏一定的決策能力。本發明將兩者結合優勢互補，為拓撲頻繁變化的電力系統場景的感知決策問題提供了解決思路，可提供更可靠更經濟的控制策略。

技術領域

本發明涉及電力系統安全運行與控制領域，尤其是涉及一種基于圖深度強化學習的電網低壓減載緊急控制方法。

背景技術

目前對低壓減載算法的研究包括傳統法、自適應法、計算機輔助算法和深度強化學習方法等。

傳統法是一種靜態方法，每次切除固定數量的負荷，在應對緊急狀況時可能會過切和欠切，無法提供最優的減載方案；自適應方法基于系統的擾動程度動態切除負荷；計算機輔助算法包括人工神經網絡、啟發式算法、粒子群優化算法、模糊控制等，在此類方法中，低壓減載問題被定義為最優決策問題，可以給出更優的切負荷方案。但以上三種方法對系統的不確定性適應性不強，在處理非線性和高維問題時，控制策略的準確率顯著降低，相較而言，深度強化學習方法將深度學習的狀態感知能力和強化學習的決策能力相結合，對系統不確定性的適應性強，但其不足之處在于應對拓撲頻繁變化的電網控制問題時模型的泛化性能差，控制策略準確率低。其原因在于：電網的拓撲結構是以圖的形式來表示各節點間的關系，與結構化的文本和圖像數據相比，圖的拓撲結構復雜，每個節點都會有邊與圖中其他節點相關，且每個節點都有數量不等的相鄰節點，傳統的深度學習方法并不適用于此類非歐式空間數據，不能很好地捕捉系統狀態特征的變化，導致模型控制策略的準確性大幅度降低，這對于電網的穩定經濟運行目標來說是不可接受的。

發明內容

本發明主要是解決現有技術所存在的技術問題；提供了一種基于圖深度強化學習的電網低壓減載緊急控制方法，為拓撲頻繁變化的電力系統場景的感知決策問題提供了解決思路，能提供更可靠更經濟的控制策略。

本發明的上述技術問題主要是通過下述技術方案得以解決的：

一種基于圖深度強化學習的電網低壓減載緊急控制方法，其特征在于，包括以下步驟：

步驟1，確定電力系統算例規模，設置電力系統拓撲變化場景；設計低壓減載動作節點、低壓減載動作策略和低壓減載策略目標函數；

步驟2，采集電力系統拓撲多個歷史時刻的節點狀態觀測值樣本集合，生成節點特征矩陣X及電力系統拓撲圖G；

步驟3，將節點特征矩陣進行數據預處理得到規范化的樣本特征數據；引入FastGCN-D3QN圖深度強化學習模型，將預處理后的節點特征矩陣輸入至所述FastGCN-D3QN圖深度強化學習模型進行特征提取得到有效樣本特征；進一步通過FastGCN-D3QN圖深度強化學習模型的強化學習過程進行訓練，建立電力系統低壓減載緊急控制模型；

步驟4，將實時采集到的待測試電網的多時刻節點狀態觀測值，包括運行時刻t及其前m-1個時刻的節點電壓幅值和負荷占比，通過步驟2構建實時的節點特征矩陣X，通過步驟3所述數據預處理過程進一步處理得到實時的規范化的樣本特征數據X'，進一步通過訓練完成的電力系統低壓減載緊急控制模型預測得到各動作母線節點對應的負荷調整量，形成待預測電網的低壓減載緊急控制方案。

作為優選，步驟1所述電力系統算例規模為n；

步驟1所述設置拓撲變化場景為：