[發(fā)明專利]一種電網(wǎng)無功電壓控制模型訓練方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010413883.4
• 申請日: 2020-05-15
• 公開（公告）號: CN111666713B
• 公開（公告）日: 2022-07-08
• 發(fā)明（設計）人: 吳文傳;劉昊天;孫宏斌;王彬;郭慶來;夏天
• 申請（專利權(quán)）人: 清華大學
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N3/04;G06N3/08;G09B9/00;G06Q50/06
• 代理公司: 北京知聯(lián)天下知識產(chǎn)權(quán)代理事務所(普通合伙) 11594
• 代理人: 張陸軍

本發(fā)明提供了一種電網(wǎng)無功電壓控制模型訓練方法，所述方法包括：建立電網(wǎng)仿真模型；根據(jù)電網(wǎng)無功電壓控制目標，建立無功電壓優(yōu)化模型；結(jié)合電網(wǎng)仿真模型和無功電壓優(yōu)化模型，搭建基于對抗馬爾科夫決策過程的交互訓練環(huán)境；通過聯(lián)合對抗訓練算法訓練電網(wǎng)無功電壓控制模型；將訓練后的電網(wǎng)無功電壓控制模型遷移到在線系統(tǒng)。本發(fā)明所訓練得到的電網(wǎng)無功電壓控制模型，相較于傳統(tǒng)方法，具備可遷移的特性，可以直接用于在線電網(wǎng)無功電壓控制。相較于現(xiàn)有的基于強化學習的電網(wǎng)優(yōu)化方法，本發(fā)明的在線控制訓練成本與安全隱患大幅降低，更適合部署在實際電網(wǎng)系統(tǒng)中。

技術(shù)領(lǐng)域

本發(fā)明屬于電力系統(tǒng)運行和控制技術(shù)領(lǐng)域，特別涉及一種電網(wǎng)無功電壓控制模型訓練方法及系統(tǒng)。

背景技術(shù)

近年來，分布式可再生能源發(fā)電設備(DG，Distributed Generation)滲透率的不斷提高，使新能源場站及其匯集區(qū)的電網(wǎng)調(diào)控愈發(fā)重要。DG作為一種靈活性資源，其裝機容量往往大于其額定有功功率，且響應速度快，存在大量的可調(diào)控空間。為了解決大規(guī)模DG并網(wǎng)功率倒送帶來的電壓越限、設備脫網(wǎng)和網(wǎng)損嚴重等問題，針對DG的電網(wǎng)無功電壓控制系統(tǒng)已成為關(guān)鍵措施。然而，由于電網(wǎng)的真實物理系統(tǒng)模型難以獲得，傳統(tǒng)基于模型的優(yōu)化方法無法保障控制效果，常常出現(xiàn)控制指令遠離最優(yōu)點、電網(wǎng)運行在次優(yōu)狀態(tài)的情況。因此，數(shù)據(jù)驅(qū)動的無模型的優(yōu)化方法，特別是近年來發(fā)展迅速的深度強化學習方法，是電網(wǎng)無功電壓控制的重要手段。但數(shù)據(jù)驅(qū)動的深度強化學習方法，往往需要大量的在線訓練，這既產(chǎn)生了高昂的訓練成本，又導致了額外的安全隱患。

為了應對在線訓練效率低下帶來的成本問題與安全問題，可以采用提前用仿真模型進行離線訓練的方式。然而，由于離線模型并非真實物理系統(tǒng)的電網(wǎng)模型，存在模型偏差，如果采用一般的深度強化學習方法，訓練得到的離線模型沒有可遷移的特性。這就意味著，將離線訓練得到的模型用在在線系統(tǒng)上時，在開始階段可能出現(xiàn)控制效果不理想的問題。因此，有必要研究一種電網(wǎng)無功電壓控制模型訓練方法，訓練出具備可遷移特性的深度強化學習模型，使其可以安全高效地應用到在線電網(wǎng)無功電壓控制系統(tǒng)上，在避免模型不完備帶來控制偏差的同時，節(jié)省在線訓練的成本，大幅提高在線控制的安全性與效率。

發(fā)明內(nèi)容

針對上述問題，本發(fā)明提供了一種電網(wǎng)無功電壓控制模型訓練方法，所述方法包括：

建立電網(wǎng)仿真模型；

根據(jù)電網(wǎng)無功電壓控制目標，建立無功電壓優(yōu)化模型；

結(jié)合電網(wǎng)仿真模型和無功電壓優(yōu)化模型，搭建基于對抗馬爾科夫決策過程的交互訓練環(huán)境；

通過聯(lián)合對抗訓練算法訓練電網(wǎng)無功電壓控制模型；

將訓練后的電網(wǎng)無功電壓控制模型遷移到在線系統(tǒng)。

進一步地，所述建立電網(wǎng)仿真模型，包括：

對于n+1個節(jié)點的區(qū)域電網(wǎng)，構(gòu)建無向圖，如下：

Π(N,E)

其中，N為電網(wǎng)節(jié)點集合，E為電網(wǎng)支路集合，E＝(i,j)∈N×N，i、j均為電網(wǎng)節(jié)點。

進一步地，所述建立電網(wǎng)仿真模型，還包括：

構(gòu)建電網(wǎng)潮流方程，如下：

其中，V_i,θ_i分別為電網(wǎng)節(jié)點i的電壓幅值和相角，所述V_j，θ_j分別為電網(wǎng)節(jié)點j的電壓幅值和相角，G_ij,B_ij分別為電網(wǎng)支路ij的電導和電納，P_ij,Q_ij分別為電網(wǎng)支路ij的有功功率和無功功率，θ_ij為電網(wǎng)支路ij的相角差；