[發明專利]基于雙層強化學習電網-用戶相協同的電壓無功優化方法

在審

• 申請號: 202211078364.2
• 申請日: 2022-09-05
• 公開（公告）號: CN115313407A
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 吳明賀;洪蘆誠;王逸飛
• 申請（專利權）人: 東南大學
• 主分類號: H02J3/16
• 分類號: H02J3/16;H02J3/48;H02J3/18;G06F30/27;G06N7/00;G06F21/62;G06F111/06;G06F111/08;G06F113/04
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 周蔚然

本發明公開了一種基于雙層強化學習電網?用戶相協同的電壓無功優化方法。為了有效協調配電網的電網側設備和用戶側設備這兩類所屬權不同的資源，本發明從非對稱馬爾科夫博弈的角度提出了一種雙層無功電壓優化框架。其中，電網側的配電運行商(DSO)被視為在上層做決策的領導者，目的是最小化系統的網損；用戶被視為在下層做決策的跟隨者，目的是緩解節點的電壓偏差。除此之外，本發明還提出了一種無模型的Bi?level Actor?Critic(Bi?AC)算法來解決上述非對稱馬爾科夫博弈模型，該算法為領導者和跟隨者智能體制定了獨特的策略(actor)和價值(critic)網絡，同時還定義了領導者智能體的決策優先級。最后，本發明通過一個標準的IEEE33節點測試系統和實際電網運行數據驗證了所提方案的有效性。

技術領域

本發明屬于電力系統自動化技術領域和計算機技術領域，具體涉及基于雙層強化學習電網-用戶相協同的電壓無功優化方法。

背景技術

根據國際能源機構的數據，到2022年全球太陽能光伏發電(PV)的裝機總容量逐步增加到240GW，同比增長41％。隨著新能源技術的不斷成熟越來越多的光伏電源也被安裝在用戶側，在新增的PV中約43％來自住宅、商業和工業項目。間歇性PV的高滲透率改變了配電網的運行方式并導致節點電壓頻繁的違規。PV附帶的逆變器作為一種快時間尺度的連續設備通常被用來減緩PV帶來的電壓問題。然而與電網側的其它電壓調節資源不同，配電運營商(DSO)通常無法對用戶側的PV進行有效的觀測和控制。因此需要發明一種有效的配電網無功優化方案來應對上述問題。

目前研究人員解配電網的無功電壓優化(Volt/VAR optimization,VVO)問題的方法大致可以分為兩類：基于模型的方法和免模型的方法。其中基于模型的方法是將VVO描述為一個數學規劃問題進行求解，但這種方法需要精確的參數來對問題進行建模，然而目前的電網公司往往并不能提供準確的電網物理模型。同時由于PV的間歇性，一些控制指令需要快速下達給設備，基于模型的方法具有較大的計算負擔，并不能滿足這一要求。因此基于深度強化學習(DRL)的免模型方法是一種良好的替代方案，其求解思路是將所求問題的模型轉換成一個馬爾科夫決策過程(MDP)，然后通過設置狀態空間、動作空間和獎勵函數讓DRL智能體在不斷地和配電網環境互動來學習最佳的策略，同時訓練好的DRL智能體不存在計算負擔，可以完成實時的決策。

如今已有很多種DRL算法被用來求解配電網的VVO問題，其中多智能體強化學習(MADRL)方法(比如MADQN、MADDPG、MASAC等算法)受到了許多學者的青睞，也在配電網無功優化領域取得了不錯的效果。比如有研究將配電網分解為若干子網絡并把每個子網絡看作一個智能體，或者將有載調壓變壓器(OLTC)、開關電容器組(SCB)、靜止無功補償器(SVC)和DG逆變器等調壓設備分別看作一個智能體，然后使用MADRL算法并通過集中式訓練和分散式執行的框架對各智能體進行訓練來求解最佳策略。還有研究提出一種雙時間尺度的電壓無功控制方法，使用單智能體強化學習算法對響應慢的調壓設備進行集中控制，使用多智能體強化學習算法對響應快的設備進行分散式控制。上述這些MADRL方法的主要思想是將VVO問題建模為多智能的馬爾科夫博弈(Markov Game,MG)模型，這種MG是一種對稱的合作博弈，其目的是為了尋找一個納什均衡(Nash equilibrium,NE)。然而上述的多智能體強化學習(MADRL)方法均不能確保收斂到特定的納什均衡，從而導致求解的不確定性和次優性。同時現存的MADRL方案默認配電運行商(DSO)可以監測和控制所有的設備，但是由于數據安全和隱私，DSO并不能有效的對位于用戶側的設備進行調度。

發明內容