[發(fā)明專利]一種基于深度強(qiáng)化學(xué)習(xí)的AGC機(jī)組動(dòng)態(tài)優(yōu)化方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010972441.3
• 申請(qǐng)日: 2020-09-16
• 公開（公告）號(hào): CN112186811B
• 公開（公告）日: 2022-03-25
• 發(fā)明（設(shè)計(jì)）人: 張沛;李家騰;呂曉茜;宋秉睿;孟祥飛
• 申請(qǐng)（專利權(quán)）人: 北京交通大學(xué)
• 主分類號(hào): H02J3/46
• 分類號(hào): H02J3/46;H02J3/48;H02J3/24;H02J3/00
• 代理公司: 北京市商泰律師事務(wù)所 11255
• 代理人: 黃曉軍

1.一種基于深度強(qiáng)化學(xué)習(xí)的AGC機(jī)組動(dòng)態(tài)優(yōu)化方法，其特征在于：

AGC機(jī)組動(dòng)態(tài)優(yōu)化方法目標(biāo)函數(shù)為使優(yōu)化周期內(nèi)總成本最小，即：

式中，T為控制周期時(shí)長，即15min；F_R,t、F_S,t分別為AGC機(jī)組調(diào)節(jié)輔助服務(wù)費(fèi)用和隨機(jī)性成本；

根據(jù)上述模型，將15分鐘的控制周期分為15個(gè)階段的馬爾可夫過程，決策過程的主要變量包括：

狀態(tài)空間S：狀態(tài)空間包括t時(shí)刻常規(guī)機(jī)組和AGC機(jī)組的真實(shí)出力系統(tǒng)中真實(shí)的頻率偏差Δf_t^r、聯(lián)絡(luò)線功率偏差區(qū)域控制誤差t+1時(shí)刻系統(tǒng)負(fù)荷預(yù)測值風(fēng)電預(yù)測值頻率偏差聯(lián)絡(luò)線功率偏差以及區(qū)域控制誤差的預(yù)測值即：

動(dòng)作空間A：為各個(gè)優(yōu)化時(shí)段AGC機(jī)組有功出力，AGC機(jī)組出力用增量的形式表示，即

考慮到AGC機(jī)組同時(shí)參與系統(tǒng)一次和二次調(diào)頻，則各AGC機(jī)組t+1時(shí)刻的出力值為：

式中，即第i臺(tái)AGC機(jī)組相對(duì)t時(shí)刻的調(diào)節(jié)功率，也即二次調(diào)頻功率；表示第i臺(tái)AGC機(jī)組相對(duì)t時(shí)刻的一次調(diào)頻功率，K_Gi為第i臺(tái)AGC機(jī)組的單位調(diào)節(jié)功率，Δf_t^r分別為t+1時(shí)刻和t時(shí)刻系統(tǒng)中真實(shí)的頻率偏差；

對(duì)于不參與二次調(diào)頻的非AGC機(jī)組，第t+1時(shí)刻的出力值為：

考慮到機(jī)組出力上下限約束，將各臺(tái)AGC機(jī)組t+1時(shí)刻的實(shí)際出力限制在出力上下限之間，即

即時(shí)獎(jiǎng)勵(lì)r_t：由系統(tǒng)的總成本和懲罰組成，包括AGC機(jī)組調(diào)節(jié)輔助服務(wù)費(fèi)用和隨機(jī)性成本，懲罰項(xiàng)r_penel主要包括機(jī)組越限懲罰r₁、CPS1指標(biāo)懲罰r₂、頻率偏差懲罰r₃以及聯(lián)絡(luò)線功率偏差懲罰r₄：

式中，k₁為機(jī)組越限懲罰系數(shù)；

式中，k₂、k₃分別為ACE和CPS1指標(biāo)的懲罰系數(shù)，ACE*和CPS1*分別為ACE和CPS1的理想取值，本方法取0和200％；

式中，k₄為頻率偏差懲罰系數(shù)；

式中，k₅為聯(lián)絡(luò)線功率偏差懲罰系數(shù)；

因此，系統(tǒng)中總懲罰項(xiàng)r_penel即，

r_penel＝r₁+r₂+r₃+r₄ (24)

即時(shí)獎(jiǎng)勵(lì)r_t即，

r_t＝-(F+r_penel) (25)

式中，F(xiàn)為式(1)所示優(yōu)化周期內(nèi)的總成本；

狀態(tài)轉(zhuǎn)移概率P：由于本方法中下一時(shí)刻的狀態(tài)值、即時(shí)獎(jiǎng)勵(lì)值必須通過與環(huán)境的交互才能得到，它們共同組成包含環(huán)境隨機(jī)性的狀態(tài)轉(zhuǎn)移概率P；

折扣因子γ∈[0,1]表示未來時(shí)刻的獎(jiǎng)勵(lì)對(duì)當(dāng)前獎(jiǎng)勵(lì)的重要性；

將上述馬爾可夫過程的模型采用深度強(qiáng)化學(xué)習(xí)算法求解，得到最優(yōu)的決策。

2.如權(quán)利要求1所述的一種基于深度強(qiáng)化學(xué)習(xí)的AGC機(jī)組動(dòng)態(tài)優(yōu)化方法，其特征在于，將馬爾可夫過程的模型采用深度Q學(xué)習(xí)算法的策略求解。

3.如權(quán)利要求1所述的一種基于深度強(qiáng)化學(xué)習(xí)的AGC機(jī)組動(dòng)態(tài)優(yōu)化方法，其特征在于，將馬爾可夫過程的模型采用Dueling DQN、Double DQN、深度確定性策略梯度算法、或近端策略優(yōu)化算法求解。