[發(fā)明專利]一種電網(wǎng)無功電壓控制模型訓(xùn)練方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010413883.4
• 申請(qǐng)日: 2020-05-15
• 公開（公告）號(hào): CN111666713B
• 公開（公告）日: 2022-07-08
• 發(fā)明（設(shè)計(jì)）人: 吳文傳;劉昊天;孫宏斌;王彬;郭慶來;夏天
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06F30/27
• 分類號(hào): G06F30/27;G06N3/04;G06N3/08;G09B9/00;G06Q50/06
• 代理公司: 北京知聯(lián)天下知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11594
• 代理人: 張陸軍

1.一種電網(wǎng)無功電壓控制模型訓(xùn)練方法，其特征在于，所述方法包括：

建立電網(wǎng)仿真模型；

根據(jù)電網(wǎng)無功電壓控制目標(biāo)，建立無功電壓優(yōu)化模型；

結(jié)合電網(wǎng)仿真模型和無功電壓優(yōu)化模型，搭建基于對(duì)抗馬爾科夫決策過程的交互訓(xùn)練環(huán)境；

通過聯(lián)合對(duì)抗訓(xùn)練算法訓(xùn)練電網(wǎng)無功電壓控制模型；

將訓(xùn)練后的電網(wǎng)無功電壓控制模型遷移到在線系統(tǒng)；

所述搭建基于對(duì)抗馬爾科夫決策過程的交互訓(xùn)練環(huán)境，具體包括以下步驟：

A1、構(gòu)建對(duì)抗馬爾科夫決策過程狀態(tài)變量，表達(dá)式如下：

s＝(P,Q,V,t)

其中，P,Q分別為電網(wǎng)節(jié)點(diǎn)有功功率、無功功率注入向量，V為電網(wǎng)節(jié)點(diǎn)電壓向量，t為訓(xùn)練中的時(shí)間變量；

A2、構(gòu)建回饋?zhàn)兞浚磉_(dá)式如下：

其中，C_V為電壓抑制系數(shù)，ReLU為非線性函數(shù)，定義為ReLU(x)＝max(0,x)，P_i(t)為t時(shí)刻節(jié)點(diǎn)i有功功率注入，V_i(t)為t時(shí)刻節(jié)點(diǎn)i電壓，為設(shè)定的電壓最大值，V為設(shè)定的電壓最小值；

A3、構(gòu)建無功電壓控制模型動(dòng)作變量a_p，表達(dá)式如下：

a_p＝(Q_G,Q_C)

其中，Q_G,Q_C均為無功功率出力向量；

A4、構(gòu)建對(duì)抗模型動(dòng)作變量a_o，表達(dá)式如下：

a_o＝(G,B)

其中，G,B分別為所有線路電導(dǎo)和電納組成的向量；

所述通過聯(lián)合對(duì)抗訓(xùn)練算法訓(xùn)練電網(wǎng)無功電壓控制模型，具體包括以下步驟：

B1、定義強(qiáng)化學(xué)習(xí)目標(biāo)函數(shù)，表達(dá)式如下：

其中，γ為折合系數(shù)，α_p,α_o分別無功電壓控制模型和對(duì)抗模型的最大熵乘子，π_p為無功電壓控制模型策略，π_o為對(duì)抗模型策略，π_p(·|s_t),π_o(·|s_t)分別無功電壓控制模型策略函數(shù)和對(duì)抗模型策略函數(shù)，定義為狀態(tài)s_t下的動(dòng)作概率分布，通過深度神經(jīng)網(wǎng)絡(luò)進(jìn)行擬合，H為熵函數(shù)；

B2、通過再參數(shù)化方法，轉(zhuǎn)換無功電壓控制模型策略函數(shù)和對(duì)抗模型策略函數(shù)的形式，表達(dá)式分別如下：

其中，θ為無功電壓控制模型策略網(wǎng)絡(luò)參數(shù)，ω為對(duì)抗模型策略網(wǎng)絡(luò)參數(shù)，μ_θ(s)和σ_θ(s)分別為無功電壓控制模型的均值和方差函數(shù)，μ_ω(s)和σ_ω(s)分別為對(duì)抗模型的均值和方差函數(shù)，N(0,I)為標(biāo)準(zhǔn)高斯分布函數(shù)，ξ_p,ξ_o分別無功電壓控制模型和對(duì)抗模型的隨機(jī)變量，s為對(duì)抗馬爾科夫決策過程狀態(tài)變量；

B3、定義聯(lián)合對(duì)抗值函數(shù)網(wǎng)絡(luò)表達(dá)式如下：

其中，s'為t+1時(shí)刻的對(duì)抗馬爾科夫決策過程狀態(tài)變量，a'_p,a'_o分別為t+1時(shí)刻的無功電壓控制模型和對(duì)抗模型的動(dòng)作變量，π_p(a'_p|s'),π_o(a'_o|s')分別為t+1時(shí)刻的無功電壓控制模型動(dòng)作概率值和對(duì)抗模型動(dòng)作概率值，s為對(duì)抗馬爾科夫決策過程狀態(tài)變量，a_p、a_o分別為無功電壓控制模型和對(duì)抗模型的動(dòng)作變量；

計(jì)算聯(lián)合對(duì)抗值函數(shù)網(wǎng)絡(luò)的估計(jì)值，如下：

其中，分別為t+1時(shí)刻的無功電壓控制模型和對(duì)抗模型的預(yù)估動(dòng)作變量，r為回饋?zhàn)兞浚?/p>

采用下式對(duì)聯(lián)合對(duì)抗值函數(shù)網(wǎng)絡(luò)進(jìn)行訓(xùn)練：

其中，φ為參數(shù)，π_p(·|s'),π_o(·|s')分別為t+1時(shí)刻的無功電壓控制模型策略函數(shù)和對(duì)抗模型策略函數(shù)；

B4、訓(xùn)練無功電壓控制模型策略網(wǎng)絡(luò)，表達(dá)式如下：