[發(fā)明專利]一種基于深度強化學(xué)習(xí)的電力系統(tǒng)的故障切除方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010181770.6
• 申請日: 2020-03-16
• 公開（公告）號: CN111478292B
• 公開（公告）日: 2022-10-04
• 發(fā)明（設(shè)計）人: 王新迎;李健;張東霞;劉威
• 申請（專利權(quán)）人: 中國電力科學(xué)研究院有限公司
• 主分類號: H02H7/26
• 分類號: H02H7/26
• 代理公司: 北京安博達知識產(chǎn)權(quán)代理有限公司 11271
• 代理人: 徐國文

1.一種基于深度強化學(xué)習(xí)的電力系統(tǒng)的故障切除方法，其特征在于，所述方法包括：

根據(jù)電力系統(tǒng)當前故障切除時刻的狀態(tài)信息確定電力系統(tǒng)當前故障切除時刻的最優(yōu)故障切除動作；

基于電力系統(tǒng)當前故障切除時刻的最優(yōu)故障切除動作控制電力系統(tǒng)的運行；

所述根據(jù)電力系統(tǒng)當前故障切除時刻的狀態(tài)信息確定電力系統(tǒng)當前故障切除時刻的最優(yōu)故障切除動作，包括：

將電力系統(tǒng)當前故障切除時刻的狀態(tài)信息作為故障切除動作生成模型中電力系統(tǒng)的初始狀態(tài)信息；

根據(jù)電力系統(tǒng)的初始狀態(tài)信息，計算故障切除動作生成模型中各迭代過程中電力系統(tǒng)狀態(tài)的Q值；

將具有最大Q值的電力系統(tǒng)狀態(tài)所對應(yīng)的故障切除動作作為電力系統(tǒng)當前故障切除時刻電力系統(tǒng)狀態(tài)的最優(yōu)故障切除動作；

所述故障切除動作生成模型是基于電力系統(tǒng)各歷史故障切除時刻的狀態(tài)信息和故障切除動作，利用深度強化學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練得到的；

所述故障切除動作生成模型是基于電力系統(tǒng)各歷史故障切除時刻的狀態(tài)信息和故障切除動作，利用深度強化學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練得到的，包括：

將獲取的各歷史故障切除時刻電力系統(tǒng)的狀態(tài)信息代入電力系統(tǒng)分析綜合程序仿真工具中，得到各歷史故障切除時刻電力系統(tǒng)狀態(tài)所有可能發(fā)生的故障切除動作以及對電力系統(tǒng)執(zhí)行所有可能發(fā)生的故障切除動作之后電力系統(tǒng)的狀態(tài)信息；

根據(jù)代入電力系統(tǒng)分析綜合程序仿真工具之前的電力系統(tǒng)的狀態(tài)信息和對電力系統(tǒng)執(zhí)行所有可能發(fā)生的故障切除動作之后電力系統(tǒng)的狀態(tài)信息構(gòu)建狀態(tài)集；根據(jù)狀態(tài)集中各電力系統(tǒng)狀態(tài)所有可能發(fā)生的故障切除動作構(gòu)建動作集；

基于所述狀態(tài)集、動作集以及利用暫態(tài)穩(wěn)定裕度指標模型計算得到的暫態(tài)穩(wěn)定裕度指標值，對深度強化學(xué)習(xí)網(wǎng)絡(luò)進行訓(xùn)練，得到故障切除動作生成模型。

2.如權(quán)利要求1所述的方法，其特征在于，所述電力系統(tǒng)的狀態(tài)信息包括：電力系統(tǒng)內(nèi)各負荷節(jié)點的狀態(tài)信息和電力系統(tǒng)內(nèi)各發(fā)電節(jié)點的狀態(tài)信息；其中，電力系統(tǒng)內(nèi)各負荷節(jié)點的狀態(tài)信息包括：電力系統(tǒng)內(nèi)各負荷節(jié)點的電壓和功率；電力系統(tǒng)內(nèi)各發(fā)電節(jié)點的狀態(tài)信息包括：電力系統(tǒng)內(nèi)各發(fā)電節(jié)點的電壓、發(fā)電機電磁功率、發(fā)電機機械功率、發(fā)電機無功功率、發(fā)電機轉(zhuǎn)速和發(fā)電機功角。

3.如權(quán)利要求1所述的方法，其特征在于，所述歷史故障切除時刻為在電力系統(tǒng)各歷史故障時段內(nèi)等間隔抽取的歷史時刻，并將所述歷史時刻作為歷史故障切除時刻。

4.如權(quán)利要求1所述的方法，其特征在于，所述基于所述狀態(tài)集、動作集以及利用暫態(tài)穩(wěn)定裕度指標模型計算得到的暫態(tài)穩(wěn)定裕度指標值，對深度強化學(xué)習(xí)網(wǎng)絡(luò)進行訓(xùn)練，得到故障切除動作生成模型，包括：

基于第i個歷史故障切除時刻每一次迭代過程中電力系統(tǒng)的當前狀態(tài)信息和與當前狀態(tài)信息對應(yīng)的當前動作，利用暫態(tài)穩(wěn)定裕度指標模型獲得第i個歷史故障切除時刻每一次迭代過程中電力系統(tǒng)的暫態(tài)穩(wěn)定裕度指標值；

基于第i個歷史故障切除時刻每一次迭代過程中電力系統(tǒng)的暫態(tài)穩(wěn)定裕度指標值，采用Q學(xué)習(xí)算法計算第i個歷史故障切除時刻每一次迭代過程中電力系統(tǒng)狀態(tài)的Q值；

當滿足迭代結(jié)束條件時，選擇Q值最大的電力系統(tǒng)狀態(tài)所對應(yīng)的動作作為第i個歷史故障切除時刻電力系統(tǒng)狀態(tài)所對應(yīng)的最優(yōu)故障切除動作；

重復(fù)上述全部步驟，直至得到所有歷史故障切除時刻電力系統(tǒng)狀態(tài)所對應(yīng)的最優(yōu)故障切除動作，則獲得故障切除動作生成模型；

所述每一次迭代過程包括初始迭代過程和非初始迭代過程；

所述初始迭代過程中電力系統(tǒng)的當前狀態(tài)為從所述狀態(tài)集中隨機選取的一個狀態(tài)；所述初始迭代過程中與當前狀態(tài)相對應(yīng)的當前動作為在所述動作集中從初始狀態(tài)所有可能發(fā)生的故障切除動作中隨機選取的一個動作；

所述非初始迭代過程中電力系統(tǒng)的當前狀態(tài)為對電力系統(tǒng)執(zhí)行上一次迭代過程中的故障切除動作之后電力系統(tǒng)的狀態(tài)；所述非初始迭代過程中電力系統(tǒng)的當前動作為根據(jù)當前狀態(tài)在所述動作集中從當前狀態(tài)所有可能發(fā)生的故障切除動作中隨機選取的一個動作。