[發明專利]基于深度強化學習的電網拓撲優化和潮流控制的方法

在審

• 申請號: 202111362751.4
• 申請日: 2021-11-17
• 公開（公告）號: CN114065452A
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 周毅;周良才;丁佳立;何紅玉;高佳寧
• 申請（專利權）人: 國家電網有限公司華東分部
• 主分類號: G06F30/18
• 分類號: G06F30/18;G06F30/27;G06N3/08;G06Q50/06
• 代理公司: 上海思微知識產權代理事務所(普通合伙) 31237
• 代理人: 田婷

本發明提供了一種基于深度強化學習的電網拓撲優化和潮流控制的方法，包括：構建智能體；獲取歷史斷面潮流數據，并對多歷史斷面潮流數據進行模仿學習，以確定智能體的參數的初始值；對t時刻的在線斷面潮流數據進行訓練，得到N個動作價值排在前列的控制策略；在電網環境仿真器中驗證N個價值排在前列的控制策略，獲得回報最高的控制策略；執行回報最高的控制策略，得到執行該控制策略的獎勵值；t的取值加1；循環求獎勵值的步驟，每求得M次獎勵值，根據動作價值函數的目標值更新智能體參數，完成所有時刻的在線斷面潮流數據的智能體訓練，從中選出最優的智能體參數；使用訓練好的智能體在實時環境下完成電網拓撲優化和潮流控制。

技術領域

本發明涉及電網領域，尤其是涉及一種基于深度強化學習的電網拓撲優化和潮流控制的方法。

背景技術

隨著新能源和有源化負荷的占比不斷提升，電網的動態性和不確定性逐漸增強，給電網運行和系統調度人員帶來了新的挑戰。現有的電網調控手段多集中于發電側和負荷側，而對電網拓撲結構的優化控制在研究中考慮較少。

電網拓撲優化控制是一種成本低、有前景且未被充分利用的系統緩解措施。由于其對應數學問題的組合和高度非線性等特點，常規的優化算法很難在短時間完成求解。從安全和經濟角度來看，最大化系統的可用傳輸容量(Available Transfer Capability,ATC)對電力系統至關重要。從環境和經濟方面考慮，今后通過建設新線路的方式來擴大系統傳輸能力對于電網公司將會越來越難。此外，可再生能源、需求響應、電動汽車和電力電子設備的日益普及導致了更多隨機和動態行為，威脅到電網的安全穩定運行。因此，在滿足各種約束的同時，考慮到系統的不確定性，開發電網拓撲優化的控制策略變得至關重要。

然而，現有電網拓撲優化的方法存在一定的局限性，首先，現有方法通常使用不考慮安全約束的直流潮流對問題進行近似，這樣大大降低了調控的精度。其次，線路開合和母線分裂運行的排列組合呈指數爆炸性增長，而基于靈敏度的方法容易受到不斷變化的系統運行狀態的影響，因此，對于大電網，優化問題的求解耗時較久，無法滿足拓撲實時優化控制的需求。

發明內容

本發明的目的在于提供一種基于深度強化學習的電網拓撲優化和潮流控制的方法，可以縮短電網拓撲優化的時間，并且可以提高拓撲優化的精度。

為了達到上述目的，本發明提供了一種基于深度強化學習的電網拓撲優化和潮流控制的方法，包括：

S1：構建智能體；

S2：獲取電網的多個歷史斷面潮流數據，并對多個歷史斷面潮流數據進行模仿學習，以確定所述智能體的參數的初始值；

S3：獲取用于所述智能體訓練的樣本，并將所述樣本輸入所述智能體，所述樣本包括多個時刻的在線斷面潮流數據；

S4：對t時刻的所述在線斷面潮流數據進行訓練，得到多個電網拓撲優化的控制策略，并按價值的大小從大到小排列，獲取N個動作價值排在前列的控制策略，其中，N為正整數；

S5：在電網環境仿真器中驗證所述N個動作價值排在前列的控制策略，以獲得回報最高的控制策略；

S6：電網環境仿真器執行所述回報最高的控制策略并獲取t時刻的獎勵值、t時刻的結束標志和t+1時刻的系統狀態；

S7：將t時刻的系統狀態、t時刻回報最高的控制策略、t時刻的獎勵值、t+1時刻的系統狀態和t時刻的結束標志作為數組存儲到緩沖區中，t時刻的結束標志為真的數組存儲次數越多；

S8：從緩沖區中隨機采樣多個數組，對采樣得到的獎勵值計算動作價值函數的目標值；

S9：t的取值加1；