[發明專利]基于相關均衡強化學習的孤島微電網智能發電控制方法

有效

• 申請號: 201410097457.9
• 申請日: 2014-03-14
• 公開（公告）號: CN103904641A
• 公開（公告）日: 2014-07-02
• 發明（設計）人: 余濤;張孝順;王興剛;張澤宇
• 申請（專利權）人: 華南理工大學;云南電網公司電網規劃研究中心
• 主分類號: H02J3/00
• 分類號: H02J3/00;H02J3/46
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 蔡茂略

技術領域

本發明涉及微電網運行與控制技術領域，特別涉及一種基于相關均衡強化學習的孤島微電網智能發電控制方法。該方法適用于多種新能源組合下的孤島微電網有功-頻率控制。

背景技術

隨著世界工業和經濟的飛速發展，傳統能源難以滿足負荷的增長，加之化石能源對環境的污染日益嚴重，由分布式新能源光伏電池、燃料電池、燃氣輪機、風能發電裝置等組成的微電網因其靈活智能的控制特別，不僅解決了DG（Distributed?Generation，分布式發電技術）大規模并網的問題，提高了供電可靠性，而且所消耗的能源無污染、可再生，符合電力可持續發展的需求，成為電力系統新興的研究課題，逐漸受到人們的廣泛關注。自1998年CERTS提出微電網概念至今，各國學者相繼展開了對微電網的深入研究。

微電網的孤島運行又稱孤島效應，是引入DG和微電網后一種新的運行模式，當電網故障、停電檢修等原因造成與主電網的連接中斷時，微電網需要從并網運行模式無縫切換到孤島運行模式，繼續向微電網內負荷供電，以保證微電網內負荷的供電可靠性。由于微電網中包含大量的可再生能源，其出力受環境變化影響很大，因此這種隨機性和間歇性給微電網的控制帶來了極大的挑戰。尤其當微電網處于孤島運行模式下，其頻率和電壓失去了大電網的支撐，受可再生能源波動的影響更為嚴重。

為解決上述這一難題，一些針對微電網孤島運行時的控制策略被提出。許多學者已經對微電網的控制策略進行詳細的研究。微電網的控制方式可大致分為集中式和分散式兩種。集中式控制策略，即所有本地負荷、分布式電源及系統參數信息都收集到一個中心控制單元并進行集中控制。相應的，分散式控制方法則需要每個分布式電源裝備一個控制器，分別收集本地反饋控制信號。此外，由于傳統PI控制器難以滿足微電網復雜的運行工況，基于人工智能算法的智能控制器在孤島微電網中應用的研究受到關注，例如模糊控制（Fuzzy?Control，FC）、粒子群算法（Particle?Swarm?Optimization，PSO）、細菌覓食優化（Bacterial?Foraging?Optimization，BFO）、遺傳算法（GA）和傳統的梯度下降法（Gradient?Descent，GD），這些算法都是對微電網的所有控制參數進行同步優化，實現微電網的自動發電控制（Automatic?Generation?Control，AGC）。然而上述研究的人工智能算法都是通過調節系統控制參數來實現優化的目的，其本質上仍屬于PI控制，仍然存在PI控制的缺陷。

在《電力系統保護與控制》期刊的第40卷第13期中公開了《基于R(λ)學習的孤島微電網智能發電控制》的文章，該文章中提出了一種集中式的微電網分層AGC控制框架，其中上層設置一個微電網集控器總調度端，對頻率偏差量進行采樣，并由基于R(λ)學習的AGC控制器優化計算得出調度總指令；下層設置一個指令分配器，解決AGC調度總指令在各機組見的功率分配問題。該控制系統突破了傳統的PI控制，通過基于強化學習的AGC控制器實現微電網的負荷頻率控制（Load?Frequency?Control，LFC），但其在分配過程中采用機組出力組合空間有限的分配因子，使得尋到的調度指令并不一定是最優指令，且在AGC機組調節次數和算法收斂速度上依然存在較大的優化空間。

發明內容

本發明的目的在于克服現有技術的缺點與不足，提供一種基于相關均衡強化學習的孤島微電網智能發電控制方法，該方法在相關均衡強化學習的線性規劃下獲得最優均衡策略，從而實現孤島微電網的頻率偏差最小控制，能更好的適應孤島運行模式下微電網系統的復雜工況，且具有較快的收斂特性和良好的控制效果。

本發明的目的通過下述技術方案實現：基于相關均衡強化學習的孤島微電網智能發電控制方法，包括以下步驟：

（1）根據微電網頻率偏差范圍確定狀態離散集；根據微電網中各機組的動作離散集確定聯合控制動作集；

（2）針對各機組狀態動作對的狀態動作值函數以及均衡策略進行初始化；

（3）采集當前控制周期微電網的實時運行數據，包括微電網實時頻率偏差以及各臺機組的實時輸出有功功率；根據各機組的實時輸出有功功率計算出各機組的功率偏差值；

（4）通過微電網實時頻率偏差和各機組的功率偏差值的線性組合確定當前控制周期各機組的立即獎勵值；

（5）根據當前控制周期各機組的立即獎勵值更新當前控制周期下各機組狀態動作對的狀態動作值函數；