[發(fā)明專利]強(qiáng)化學(xué)習(xí)緊急直流功率支援的頻率穩(wěn)定系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202211514021.6
• 申請(qǐng)日: 2022-11-30
• 公開（公告）號(hào): CN115809597A
• 公開（公告）日: 2023-03-17
• 發(fā)明（設(shè)計(jì)）人: 孫正龍;莊鈞植;劉鋮;姜超;蔡國偉
• 申請(qǐng)（專利權(quán)）人: 東北電力大學(xué)
• 主分類號(hào): G06F30/27
• 分類號(hào): G06F30/27;H02J13/00;G06N3/084;G06N3/045;G06N3/092;G06F113/04
• 代理公司: 長春市吉利專利事務(wù)所(普通合伙) 22206
• 代理人: 王楠楠;李曉莉

本發(fā)明公開的強(qiáng)化學(xué)習(xí)緊急直流功率支援的頻率穩(wěn)定系統(tǒng)及方法，屬于電力系統(tǒng)頻率控制技術(shù)領(lǐng)域，本發(fā)明將鄰近優(yōu)化策略算法的強(qiáng)化學(xué)習(xí)模型作為決策主體，實(shí)際電力系統(tǒng)作為環(huán)境，通過提取電力系統(tǒng)節(jié)點(diǎn)模型的多個(gè)歷史時(shí)刻的特征電氣量作為強(qiáng)化學(xué)習(xí)中的狀態(tài)值以構(gòu)建觀測(cè)數(shù)據(jù)；構(gòu)建基于近端策略優(yōu)化算法的強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)；對(duì)電氣量進(jìn)行分析和分類，部分電氣量作為強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)的輸入，部分電氣量用于更新強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)參數(shù)，緊急直流功率支援措施作為強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)的輸出，通過強(qiáng)化學(xué)習(xí)進(jìn)行優(yōu)化訓(xùn)練生成策略模型；通過對(duì)策略模型的提取，直流系統(tǒng)能夠在電力系統(tǒng)發(fā)生擾動(dòng)時(shí)快速、準(zhǔn)確的給出相應(yīng)的緊急直流功率支援措施使得系統(tǒng)頻率恢復(fù)到安全范圍。

技術(shù)領(lǐng)域

本發(fā)明涉及電力系統(tǒng)頻率控制技術(shù)領(lǐng)域，更具體地，涉及一種強(qiáng)化學(xué)習(xí)緊急直流功率支援的頻率穩(wěn)定系統(tǒng)及方法。

背景技術(shù)

目前，伴隨“雙碳”戰(zhàn)略的推進(jìn)，大力發(fā)展新能源發(fā)電成為加快降低碳排放，引導(dǎo)綠色技術(shù)創(chuàng)新，持續(xù)推進(jìn)產(chǎn)業(yè)結(jié)構(gòu)和能源結(jié)構(gòu)調(diào)整的不可或缺的重要因素。但具有波動(dòng)性和隨機(jī)性的新能源取代眾多同步發(fā)電機(jī)組，導(dǎo)致電力系統(tǒng)中系統(tǒng)慣量下降，同時(shí)伴隨著大型交直流混聯(lián)電網(wǎng)的形成，進(jìn)而使功率擾動(dòng)引發(fā)的頻率波動(dòng)問題更大，系統(tǒng)抗擾動(dòng)能力下降，非常容易引發(fā)脫網(wǎng)問題，且易引發(fā)連鎖故障，電網(wǎng)的頻率穩(wěn)定控制顯得尤為重要。

傳統(tǒng)的低頻減載速度較慢，切負(fù)荷控制經(jīng)濟(jì)性低，因此緊急直流功率支援作為一種能夠兼顧動(dòng)作速度和經(jīng)濟(jì)性的控制手段在當(dāng)今復(fù)雜電網(wǎng)的頻率穩(wěn)定控制中具有明顯優(yōu)勢(shì)。

目前緊急直流功率支援策略多是通過系統(tǒng)的物理模型和特性制定數(shù)據(jù)模型，受限于考慮因素的全面性，當(dāng)系統(tǒng)工況復(fù)雜多變時(shí)制定策略準(zhǔn)確性低，存在策略制定的計(jì)算量巨大、過程繁瑣、工況難覆蓋的問題。

發(fā)明內(nèi)容

針對(duì)上述問題本發(fā)明提出了一種強(qiáng)化學(xué)習(xí)緊急直流功率支援的頻率穩(wěn)定系統(tǒng)及方法，提高了電力系統(tǒng)發(fā)生擾動(dòng)時(shí)控制策略的準(zhǔn)確性，減少了電力系統(tǒng)的控制策略求解的計(jì)算量，提高了復(fù)雜電力系統(tǒng)下的頻率安全穩(wěn)定性。

本發(fā)明所提出的強(qiáng)化學(xué)習(xí)緊急直流功率支援的頻率穩(wěn)定系統(tǒng)，包括：

初始化模塊，用于配置基于鄰近優(yōu)化策略算法的強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)的網(wǎng)路參數(shù)、設(shè)置交互間每次循環(huán)的最大交互次數(shù)和所要訓(xùn)練的循環(huán)數(shù)，讀取預(yù)設(shè)的緊急直流功率支援指令集合及電力系統(tǒng)的特征電氣量集合；

交互模塊，用于執(zhí)行以下操作：在電力系統(tǒng)運(yùn)行一個(gè)交互間隔步長后讀取一次特征電氣量數(shù)據(jù)，若強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)有緊急直流功率支援的指令輸出，則將指令傳遞給電力系統(tǒng)；

數(shù)據(jù)處理模塊，用于將交互模塊所讀取的特征電氣量分為以下三類：決策措施電氣量、控制效果電氣量和安全約束電氣量；

評(píng)判模塊，用于根據(jù)直流系統(tǒng)兩端的交流母線頻率值，利用獎(jiǎng)勵(lì)函數(shù)得到獎(jiǎng)勵(lì)值；

決策模塊，用于將所述決策措施電氣量作為強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)的輸入數(shù)據(jù)傳入至強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)，將緊急直流功率支援指令作為強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)的輸出，使得直流系統(tǒng)能夠在電力系統(tǒng)發(fā)生擾動(dòng)時(shí)給出相應(yīng)的緊急直流功率支援措施使得系統(tǒng)頻率恢復(fù)到安全范圍；

學(xué)習(xí)模塊，用于根據(jù)控制效果電氣量判斷頻率恢復(fù)效果及根據(jù)安全約束電氣量判斷是否觸發(fā)電力系統(tǒng)安全約束，并在此基礎(chǔ)上結(jié)合評(píng)判模塊得到的獎(jiǎng)勵(lì)值更新強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)的網(wǎng)路參數(shù)。