[發(fā)明專利]一種基于深度強(qiáng)化學(xué)習(xí)的動(dòng)態(tài)電力系統(tǒng)經(jīng)濟(jì)調(diào)度方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010972420.1
• 申請(qǐng)日: 2020-09-16
• 公開(kāi)（公告）號(hào): CN112186743B
• 公開(kāi)（公告）日: 2022-03-25
• 發(fā)明（設(shè)計(jì)）人: 張沛;呂曉茜;宋秉睿;李家騰;孟祥飛
• 申請(qǐng)（專利權(quán)）人: 北京交通大學(xué)
• 主分類號(hào): H02J3/00
• 分類號(hào): H02J3/00;H02J3/46
• 代理公司: 北京市商泰律師事務(wù)所 11255
• 代理人: 黃曉軍

1.一種基于深度強(qiáng)化學(xué)習(xí)的動(dòng)態(tài)電力系統(tǒng)經(jīng)濟(jì)調(diào)度方法，其特征在于：

系統(tǒng)調(diào)度周期內(nèi)的經(jīng)濟(jì)成本可表示為：

其中，a_i，b_i，c_i為傳統(tǒng)火電機(jī)組i的成本系數(shù)；P_g,i為傳統(tǒng)火力發(fā)電機(jī)i的有功出力；T為調(diào)度周期，為24小時(shí)；G為系統(tǒng)中的傳統(tǒng)火力發(fā)電機(jī)數(shù)量；

根據(jù)上述模型，將一天24小時(shí)的經(jīng)濟(jì)調(diào)度分為24個(gè)決策周期的馬爾可夫過(guò)程，在每個(gè)決策階段中，通過(guò)觀察狀態(tài)，做出動(dòng)作決策，并將動(dòng)作應(yīng)用于實(shí)際電力系統(tǒng)環(huán)境中，再得到從環(huán)境反饋的獎(jiǎng)懲信息與新的狀態(tài)，重復(fù)這一過(guò)程，直到整個(gè)調(diào)度周期結(jié)束，決策過(guò)程的變量包括：

1)狀態(tài)s_t：第t個(gè)決策階段的狀態(tài)s_t由t+1時(shí)刻的負(fù)荷和新能源預(yù)測(cè)信息及t時(shí)刻電網(wǎng)的實(shí)時(shí)信息組成：

s_t＝{P′_load,t+1,P′_wind,t+1,P′_pv,t+1,P_g,t,P_wind,t,P_pv,t,P_line,t,Q_line,t,V_t} (8)

其中，P′_load,t+1，P′_wind,t+1，P′_pv,t+1分別為t+1時(shí)刻的負(fù)荷預(yù)測(cè)值、風(fēng)電預(yù)測(cè)值、光伏預(yù)測(cè)值；P_g,t為傳統(tǒng)火力發(fā)電機(jī)在t時(shí)刻的實(shí)際出力值；P_wind,t和P_pv,t分別為t時(shí)刻的風(fēng)電實(shí)際出力值、光伏實(shí)際出力值；P_line,t和Q_line,t分別為t時(shí)刻線路傳輸有功及無(wú)功功率；V_t為t時(shí)刻節(jié)點(diǎn)電壓幅值；

2)動(dòng)作a_t

第t個(gè)決策階段的動(dòng)作a_t定義為：

其中，為非平衡節(jié)點(diǎn)傳統(tǒng)火電機(jī)組出力動(dòng)作值；為風(fēng)電出力動(dòng)作值；為光伏出力動(dòng)作值；

依據(jù)狀態(tài)觀測(cè)值s_t給出動(dòng)作a_t后，需將動(dòng)作應(yīng)用到實(shí)際電力系統(tǒng)中，受限于傳統(tǒng)火電機(jī)組相鄰時(shí)刻爬坡約束，各傳統(tǒng)火電機(jī)組下一調(diào)度時(shí)段t+1實(shí)際出力狀態(tài)P_g,i,t+1為：

其中P_{i,ramp_up}和P_{i,ramp_down}分別為傳統(tǒng)火電機(jī)組i的最大上爬坡功率與最大下爬坡功率；

受限于新能源實(shí)際最大可發(fā)功率，新能源下一時(shí)調(diào)度時(shí)段t+1的出力值為：

其中，和分別為t+1時(shí)刻風(fēng)電與光伏的最大可發(fā)功率；

3)獎(jiǎng)勵(lì)reward

當(dāng)動(dòng)作a_t應(yīng)用在環(huán)境中后，需根據(jù)環(huán)境的變化反饋即時(shí)獎(jiǎng)勵(lì)，供學(xué)習(xí)動(dòng)作的效果，t時(shí)刻的即時(shí)獎(jiǎng)勵(lì)由機(jī)組出力成本與懲罰函數(shù)組成：

r_t＝-(r_cost,t+r_penal,t) (13)

其中，r_cost,t為系統(tǒng)經(jīng)濟(jì)成本；r_penal,t為違反約束時(shí)的懲罰；

為實(shí)現(xiàn)新能源的優(yōu)先消納，系統(tǒng)經(jīng)濟(jì)成本中只計(jì)入傳統(tǒng)火電機(jī)組出力成本，不計(jì)新能源出力成本：

懲罰函數(shù)考慮電力系統(tǒng)運(yùn)行安全約束：

其中，k₁、k₂與k₃均為懲罰系數(shù)；T_l為線路l的傳輸視在功率；T_l,max為線路l的傳輸容量極限；V_n,t為節(jié)點(diǎn)n在t時(shí)刻的電壓幅值；V_n,min和V_n,max分別為節(jié)點(diǎn)n電壓下限與上限；

4)策略π

策略為狀態(tài)到動(dòng)作的映射，指的是給定狀態(tài)時(shí)，動(dòng)作集上的一個(gè)分布，也即在每個(gè)狀態(tài)s指定一個(gè)動(dòng)作概率；

5)流程

在最開(kāi)始系統(tǒng)處于某種初始狀態(tài)s₀下，系統(tǒng)根據(jù)策略π對(duì)電網(wǎng)下達(dá)動(dòng)作指令a₀，確定下一階段發(fā)電機(jī)有功出力值、風(fēng)光出力，將動(dòng)作指令與環(huán)境交互，環(huán)境狀態(tài)發(fā)生改變，并反饋回給調(diào)度中心系統(tǒng)作為下一決策階段的狀態(tài)s₁，計(jì)算獎(jiǎng)勵(lì)r₀，循環(huán)進(jìn)行這一過(guò)程直至最后一個(gè)決策階段；

將上述馬爾可夫過(guò)程的模型采用深度強(qiáng)化學(xué)習(xí)算法求解，得到最優(yōu)的經(jīng)濟(jì)調(diào)度決策。