[發明專利]基于分層強化學習的微電網分布式在線調度方法及系統

有效

• 申請號: 202110447754.1
• 申請日: 2021-04-25
• 公開（公告）號: CN113098007B
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 呂天光;李競;郝然;艾芊;孫樹敏;李勇
• 申請（專利權）人: 山東大學
• 主分類號: H02J3/00
• 分類號: H02J3/00;H02J3/46;H02J3/32
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 董雪

本發明公開了一種基于分層強化學習的微電網分布式在線調度方法及系統，包括：獲取實時電價信息、每一個微電網的總交易電量、可調度機組在每一個微電網中的功率輸出、電池儲能系統的輸出功率以及充/放電效率數據；以所有微電網整體運行成本最低為目標，建立多微網在線調度的目標函數；通過嵌入設定領域的知識將多微網在線調度的目標函數的局部約束轉換成規則，建立基于知識引導和數據驅動的多微網在線調度模型；設計微電網的遷移分層強化學習方法，對基于知識引導和數據驅動的多微網在線調度模型進行求解，得到能夠使得所有微電網整體運行成本最低的最優調度策略。本發明通過嵌入運行知識，提高了學習效率，降低了系統的長期運行成本，提高了系統運行穩定性。

技術領域

本發明涉及微電網分布式在線調度技術領域，尤其涉及一種基于分層強化學習的微電網分布式在線調度方法及系統。

背景技術

本部分的陳述僅僅是提供了與本發明相關的背景技術信息，不必然構成在先技術。

隨著人們對氣候變化的日益關注及風光發電成本的下降，電力系統正在加速從嚴重依賴化石燃料的能源模式向混合大量可再生能源的模式轉變。然而，系統中可再生能源的預測偏差使得高比例可再生能源電力系統對滾動校正和自適應提出了更高的要求。

微電網為不同類型的分布式能源提供通用接口，如可再生能源、彈性負荷和電池儲能系統等。然而，多個微電網間的協調會增加運行故障的風險并降低穩定裕度。此外，各種類型的可再生能源和需求曲線之間存在不可避免的預測誤差，這導致日前計劃與實際運行之間存在較大的差距。這推動了微電網分布式在線經濟調度的發展，以進一步提高調度的準確性。

隨著5G和物聯網技術的發展，通過實時感知和在線決策支持系統經濟穩定運行越來越受到人們的關注。然而，一般的分布式在線經濟調度方法都是針對系統短期運行的，只能得到局部最優解。這主要是由于當前信息的有限性給系統的長期規劃帶來了挑戰。

強化學習作為一種應對上述挑戰的數據驅動方法，被廣泛用于從長期的角度優化在線決策。然而，現有的強化學習算法存在效率低、模型不確定性大、求解復雜的協同任務特別是具有耦合目標和全局運行約束的分布式在線經濟調度問題困難等缺點。受各種運行約束的限制，電力系統中的學習空間不是一個一般的多維空間，而是一個局部學習空間?；趶娀瘜W習的調度既要保證系統的安全性和可靠性，即滿足局部學習空間的運行約束要求，又要兼顧經濟運行、提高用戶舒適度、增加可再生能源滲透率等多個目標。此外，學習樣本只能通過仿真或收集歷史運行數據來獲得，因此很難在整個局部學習空間中獲得大量的學習樣本。適當的強化學習算法應在有限的樣本基礎上，確保運行約束要求的同時提高學習精度。然而，統計學習理論只能保證在有大量樣本的前提下數據驅動方法逼近全局學習空間的最優解或近似最優解，而不能100％滿足局部學習空間的所有運行約束。此外，微電網的多目標、局部和全局約束難以集成到基于強化學習的算法中?，F有技術提出了完全分散的基于強化學習的微電網在線調度方案，但該方案中微電網之間不存在直接的交互?，F有技術提出用于完全協作任務的多主體強化學習算法，但其中每個主體必須實現自己的完整目標，并且沒有考慮滿足協作關系的全局約束。

發明內容

為了解決上述問題，本發明提出了一種基于分層強化學習的微電網分布式在線調度方法及系統，通過嵌入運行知識，提高了學習效率和系統運行穩定性，并通過適當數量的交互變量實現了分布式自適應和較好的實時調度性能。

在一些實施方式中，采用如下技術方案：

基于分層強化學習的微電網分布式在線調度方法，包括：

獲取實時電價信息、每一個微電網的總交易電量、可調度機組在每一個微電網中的功率輸出、電池儲能系統的輸出功率以及充/放電效率數據；

以所有微電網整體運行成本最低為目標，建立多微網在線調度的目標函數；

通過嵌入設定領域的知識將所述多微網在線調度的目標函數的局部約束轉換成規則，建立基于知識引導和數據驅動的多微網在線調度模型；