[發(fā)明專利]一種基于深度強(qiáng)化學(xué)習(xí)的動(dòng)態(tài)電力系統(tǒng)經(jīng)濟(jì)調(diào)度方法

有效

• 申請?zhí)枺?/td>: 202010972420.1
• 申請日: 2020-09-16
• 公開（公告）號(hào): CN112186743B
• 公開（公告）日: 2022-03-25
• 發(fā)明（設(shè)計(jì)）人: 張沛;呂曉茜;宋秉睿;李家騰;孟祥飛
• 申請（專利權(quán)）人: 北京交通大學(xué)
• 主分類號(hào): H02J3/00
• 分類號(hào): H02J3/00;H02J3/46
• 代理公司: 北京市商泰律師事務(wù)所 11255
• 代理人: 黃曉軍

本發(fā)明提供了一種基于深度強(qiáng)化學(xué)習(xí)的動(dòng)態(tài)電力系統(tǒng)經(jīng)濟(jì)調(diào)度方法，將動(dòng)態(tài)經(jīng)濟(jì)調(diào)度轉(zhuǎn)化為多階段序貫決策模型，本發(fā)明將進(jìn)行動(dòng)作決策的調(diào)度中心作為決策主體，實(shí)際電力系統(tǒng)作為環(huán)境，通過對強(qiáng)化學(xué)習(xí)中動(dòng)作、狀態(tài)、獎(jiǎng)勵(lì)等元素的設(shè)計(jì)，將電力系統(tǒng)的經(jīng)濟(jì)調(diào)度模型轉(zhuǎn)化為典型的多階段序貫決策模型。該模型避免了對日益復(fù)雜的電力系統(tǒng)進(jìn)行建模，且不要求精確的火電機(jī)組出力成本函數(shù)，通過智能體與環(huán)境的不斷交互，更新策略，自適應(yīng)負(fù)荷與新能源出力的不確定性，實(shí)現(xiàn)任意場景下的電力系統(tǒng)動(dòng)態(tài)經(jīng)濟(jì)調(diào)度。

技術(shù)領(lǐng)域

本發(fā)明屬于電力系統(tǒng)領(lǐng)域，涉及一種基于深度強(qiáng)化學(xué)習(xí)的動(dòng)態(tài)電力系統(tǒng)經(jīng)濟(jì)調(diào)度方法。

背景技術(shù)

隨著電力改革的深化，電能的生產(chǎn)與消費(fèi)將由時(shí)刻改變的市場需求決定，負(fù)荷波動(dòng)的不確定性增強(qiáng)，更加難以準(zhǔn)確預(yù)測。新能源出力具有波動(dòng)性、間歇性及隨機(jī)性等特點(diǎn)，它們的大規(guī)模并網(wǎng)給電網(wǎng)運(yùn)行增加了多種不確定因素。負(fù)荷與新能源出力的不確定性給電力系統(tǒng)的安全性和可靠性帶來了更嚴(yán)峻的問題，也給電網(wǎng)經(jīng)濟(jì)調(diào)度帶來了巨大挑戰(zhàn)。

經(jīng)濟(jì)調(diào)度是電力系統(tǒng)中的一個(gè)經(jīng)典優(yōu)化問題，它以降低全系統(tǒng)的發(fā)電燃料成本為目標(biāo)，在滿足基本運(yùn)行約束和系統(tǒng)功率平衡的前提下，通過合理調(diào)整不同類型機(jī)組的有功出力，確定最優(yōu)的調(diào)度方案。

工業(yè)界實(shí)際中采用的方式為確定性經(jīng)濟(jì)調(diào)度，即將負(fù)荷預(yù)測值、新能源出力預(yù)測值視作準(zhǔn)確值，進(jìn)而通過調(diào)整傳統(tǒng)機(jī)組出力實(shí)現(xiàn)經(jīng)濟(jì)成本最優(yōu)。然而，隨著電網(wǎng)中不確定性因素的增多，傳統(tǒng)的確定性經(jīng)濟(jì)調(diào)度已經(jīng)不能滿足現(xiàn)階段電力系統(tǒng)調(diào)度的需要。近年來，考慮電力系統(tǒng)不確定性因素的不確定性經(jīng)濟(jì)調(diào)度逐漸成為熱點(diǎn)問題。目前常用的不確定性優(yōu)化建模的方法主要包括隨機(jī)規(guī)劃法和魯棒優(yōu)化法。

隨機(jī)規(guī)劃認(rèn)為電力系統(tǒng)中不確定量的變化規(guī)律遵循一定的概率分布，主要包括場景分析法和機(jī)會(huì)約束規(guī)劃。場景分析法是依據(jù)新能源的概率分布模型，將其抽樣生成大量場景，再分別求解不同場景，最后將各個(gè)場景下的方案加權(quán)平均，從而得到最終決策方案。機(jī)會(huì)約束規(guī)劃則是將包含隨機(jī)變量的約束條件轉(zhuǎn)化為滿足一定置信水平的機(jī)會(huì)約束的形式，即它并不要求所得結(jié)果百分之百滿足約束條件，只要在一定置信水平上使約束條件成立即可。雖然場景法可以緩解不確定因素帶來的影響，但它不一定能囊括所有場景，且多場景的生成與決策必然帶來計(jì)算量巨大的問題，同時(shí)也難以準(zhǔn)確量化加權(quán)所得決策方案的風(fēng)險(xiǎn)性。而機(jī)會(huì)約束規(guī)劃同樣具有依賴于新能源概率模型，計(jì)算量大的缺點(diǎn)。

魯棒優(yōu)化算法不依賴于隨機(jī)變量的概率分布信息，計(jì)算量相對較小，近年來在計(jì)及不確定性的電力系統(tǒng)經(jīng)濟(jì)調(diào)度問題中得到了廣泛應(yīng)用。魯棒優(yōu)化在模型剛建立時(shí)就計(jì)及了不確定性，即采用集合的形式來表征隨機(jī)變量的不確定性。同時(shí)，根據(jù)集合中的極限場景建立魯棒優(yōu)化模型，如果所得決策方案能夠適應(yīng)最差的情況，那它也一定可以滿足其他所有情況的要求。魯棒優(yōu)化問題中不確定集的選擇至關(guān)重要，這將很大程度上影響到模型的求解效率與決策的保守程度。魯棒優(yōu)化雖然不依賴于不確定參數(shù)的概率分布，易于刻畫，但其保守度的設(shè)置也是值得研究的問題。

發(fā)明內(nèi)容

本發(fā)明的目的是：在已有的算法無法在電網(wǎng)中存在負(fù)荷預(yù)測與新能源出力預(yù)測不確定性時(shí)，快速準(zhǔn)確提供調(diào)度方案。

一種基于深度強(qiáng)化學(xué)習(xí)的動(dòng)態(tài)電力系統(tǒng)經(jīng)濟(jì)調(diào)度方法，其特征在于：

系統(tǒng)調(diào)度周期內(nèi)的經(jīng)濟(jì)成本可表示為：

其中，a_i，b_i，c_i為傳統(tǒng)火電機(jī)組i的成本系數(shù)；P_g,i為傳統(tǒng)火力發(fā)電機(jī)i的有功出力；T為調(diào)度周期，為24小時(shí)；G為系統(tǒng)中的傳統(tǒng)火力發(fā)電機(jī)數(shù)量；

根據(jù)上述模型，將一天24小時(shí)的經(jīng)濟(jì)調(diào)度分為24個(gè)決策周期的馬爾可夫過程，在每個(gè)決策階段中，通過觀察狀態(tài)，做出動(dòng)作決策，并將動(dòng)作應(yīng)用于實(shí)際電力系統(tǒng)環(huán)境中，再得到從環(huán)境反饋的獎(jiǎng)懲信息與新的狀態(tài)，重復(fù)這一過程，直到整個(gè)調(diào)度周期結(jié)束，決策過程的主要變量包括：