[發明專利]一種基于深度強化學習的AGC機組動態優化方法

有效

• 申請號: 202010972441.3
• 申請日: 2020-09-16
• 公開（公告）號: CN112186811B
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 張沛;李家騰;呂曉茜;宋秉睿;孟祥飛
• 申請（專利權）人: 北京交通大學
• 主分類號: H02J3/46
• 分類號: H02J3/46;H02J3/48;H02J3/24;H02J3/00
• 代理公司: 北京市商泰律師事務所 11255
• 代理人: 黃曉軍

本發明提供了一種基于深度強化學習的AGC機組動態優化方法，本發明引入了強化學習中的深度Q網絡(deep Q network,DQN)算法，通過智能體與環境的不斷交互，根據環境反饋的獎勵值，不斷改進智能體的策略，實現對系統中不確定性變量的學習，避免了對系統中的不確定性變量的建模。本方法能夠根據負荷和風電的預測信息，自適應學習預測帶來的不確定性，使得所給出的結果，即各臺AGC機組的調節量能夠更加吻合電力系統實際有功缺額，有助于系統的頻率穩定，解決大規模新能源并網帶來的隨機擾動問題。

技術領域

本發明屬于電力系統領域，涉及一種基于深度強化學習的AGC機組動態優化方法。

背景技術

自動發電控制(automatic generation control，AGC)應用于現代大電網頻率控制和互聯電網之間聯絡線交換功率控制，是保證電網安全穩定經濟運行、提高電網運行水平的重要措施之一，具有重要的研究價值。然而，隨著互聯電網運行新標準——CPS(controlperformancestandard，CPS)的推廣應用，使得AGC控制面臨新的挑戰。此外，風電、光伏等新能源的大規模接入，給電力系統帶來了較大的功率波動，使得電力系統的頻率控制和聯絡線功率控制面臨嚴峻的挑戰。因此，在現有的AGC相關理論技術之上進行探索，使其能夠更好地應對新能源大規模接入對電網頻率造成的影響具有重要意義。

目前，國內外在AGC控制策略的研究和實踐中已經取得了豐碩的理論研究成果和工程實踐成果。但長期以來，AGC控制可以看作是一個負反饋系統，根據SCADA系統實時采集上來的系統實時頻率偏差、聯絡線功率偏差及其它變量作為輸入，通過某種控制策略來校正系統中實時存在的區域控制誤差。其研究重點主要在于確定區域總調節功率的控制策略(文章一般稱為“AGC控制器”)，以及總調節功率的指令分配策略。在生成AGC總調節功率方面，有經典PI控制、最優控制、自適應控制、基于強化的自適應控制、模型預測控制、魯棒控制、變結構控制、以及神經網絡控制、模糊控制、遺傳算法等智能控制算法。功率分配策略方面最早通常按照工程經驗和發電機組容量、調節特性來固定分配，但是該方法難以滿足實際電網頻率控制的要求。因此有學者提出將其視作AGC機組參與分配任務的優化問題，利用標準粒子群(particleswarm optimization，PSO)、以及基于強化學習的動態最優調節功率指令分配策略。

然而，從時間尺度來看，常規AGC控制是一個典型的“先有偏差再調節”的滯后控制過程，其本質是基于目前系統中的有功缺額來調整未來AGC機組的出力，沒有考慮負荷未來的變化。當慣性較大的火電AGC機組達到下發的功率設定點時，系統中的負荷已經發生變化，很容易出現機組欠調、過調、頻繁調節等情況，既不利于系統中頻率恢復，也增加了調頻成本。大規模風電、光伏等新能源的接入，將會給電力系統帶來較大的隨機功率波動，對系統的調頻容量和機組的爬坡能力提出更高的要求。為了提高AGC機組的控制效果，有學者提出了AGC動態優化策略，其基本思想可闡述為：基于超短期負荷和新能源預測信息，綜合考慮機組調節性能、系統安全約束條件及區域控制性能等因素，通過構建優化模型直接確定各AGC機組的調節功率。該種控制策略可以實現超前控制區域控制誤差，又可以實現不同調節性能AGC機組之間的配合，減輕了秒級水電AGC機組的調節壓力。因此，將成為AGC控制策略的一個重要研究方向。

發明內容

本發明的目的是解決現有AGC動態優化調度建模方法，難以準確獲取風電預測誤差的概率分布信息，降低了其優化結果的精確度。針對這一問題，本發明引入了強化學習中的深度Q網絡(deep Q network,DQN)算法，通過智能體與環境的不斷交互，根據環境反饋的獎勵值，不斷改進智能體的策略，實現對系統中不確定性變量的學習，避免了對系統中的不確定性變量的建模。本方法能夠根據負荷和風電的預測信息，自適應學習預測帶來的不確定性，使得所給出的結果，即各臺AGC機組的調節量能夠更加吻合電力系統實際有功缺額，有助于系統的頻率穩定，解決大規模新能源并網帶來的隨機擾動問題。

一種基于深度強化學習的AGC機組動態優化方法，AGC機組動態優化方法目標函數為使優化周期內總成本最小，即：