[發(fā)明專利]基于兩階段深度強化學習的電網(wǎng)無功電壓控制方法

有效

• 申請?zhí)枺?/td>: 202010412805.2
• 申請日: 2020-05-15
• 公開（公告）號: CN111564849B
• 公開（公告）日: 2021-11-02
• 發(fā)明（設計）人: 吳文傳;劉昊天;孫宏斌;王彬;郭慶來;夏天
• 申請（專利權）人: 清華大學
• 主分類號: H02J3/16
• 分類號: H02J3/16;H02J3/38
• 代理公司: 北京知聯(lián)天下知識產(chǎn)權代理事務所(普通合伙) 11594
• 代理人: 張陸軍

1.一種基于兩階段深度強化學習的電網(wǎng)無功電壓控制方法，其特征在于，包括以下步驟：

根據(jù)區(qū)域電網(wǎng)的仿真模型與無功電壓優(yōu)化模型，搭建基于馬爾科夫過程的交互訓練環(huán)境；

在所述基于馬爾科夫過程的交互訓練環(huán)境中，采用SAC算法離線訓練無功電壓控制模型；

將所述無功電壓控制模型部署至區(qū)域電網(wǎng)在線系統(tǒng)；

獲取區(qū)域電網(wǎng)的運行狀態(tài)信息，更新所述無功電壓控制模型，生成最優(yōu)無功電壓控制策略；

所述根據(jù)區(qū)域電網(wǎng)的仿真模型與無功電壓優(yōu)化模型，搭建基于馬爾科夫過程的交互訓練環(huán)境，包括：

根據(jù)區(qū)域電網(wǎng)的量測信號，獲取區(qū)域電網(wǎng)的運行狀態(tài)信息，構建馬爾科夫過程狀態(tài)變量

s＝(P，Q，V，t)，

其中，P，Q為節(jié)點有功、無功功率注入向量，V為節(jié)點電壓向量，t為訓練中的時間變量；

根據(jù)無功電壓優(yōu)化模型，構建回饋變量

其中，C_V為電壓抑制系數(shù)，ReLU為非線性函數(shù)，ReLU(x)＝max(0，x)；

根據(jù)可控靈活性資源無功功率，確定動作變量

a＝(Q_G，Q_C)，

其中，Q_G，Q_C分別為各分布式可再生能源發(fā)電設備的無功功率和靜止無功補償器的無功功率出力向量；

所述采用SAC算法離線訓練無功電壓控制模型包括：

構建強化學習目標函數(shù)

其中，γ為折合系數(shù)，α為最大熵乘子，H為熵函數(shù)，π(·|s_t)為策略函數(shù)；

通過再參數(shù)化方法，轉換策略函數(shù)形式

其中，θ為策略網(wǎng)絡參數(shù)，μ_θ和σ_θ為對應的均值和方差函數(shù)，N(0，I)為標準高斯分布函數(shù)；

定義并訓練值函數(shù)網(wǎng)絡模型Q^π(s，a)；

訓練策略網(wǎng)絡模型

2.根據(jù)權利要求1所述的基于兩階段深度強化學習的電網(wǎng)無功電壓控制方法，其特征在于，還包括以下步驟：

將所述最優(yōu)無功電壓控制策略發(fā)送至各可控設備，重新獲取區(qū)域電網(wǎng)運行狀態(tài)信息。

3.根據(jù)權利要求2所述的基于兩階段深度強化學習的電網(wǎng)無功電壓控制方法，其特征在于，所述將所述最優(yōu)無功電壓控制策略發(fā)送至各可控設備，重新獲取區(qū)域電網(wǎng)運行狀態(tài)信息包括：

將所述最優(yōu)無功電壓控制策略通過電網(wǎng)遙控系統(tǒng)下發(fā)至各對應設備；

重新獲取區(qū)域電網(wǎng)運行狀態(tài)信息s′_t，計算回饋變量值r_t，更新經(jīng)驗庫為D←D∪{(s_t，a_t，r_t，s′_t)}；

重復所述獲取區(qū)域電網(wǎng)的運行狀態(tài)信息，更新所述無功電壓控制模型，生成最優(yōu)無功電壓控制策略。