[發明專利]一種基于強化學習的微電網優化調度方法

在審

• 申請號: 202110908101.9
• 申請日: 2021-08-09
• 公開（公告）號: CN113435793A
• 公開（公告）日: 2021-09-24
• 發明（設計）人: 張靖;葉永春;范璐欽;何宇;韓松;郝正航;馬覃峰
• 申請（專利權）人: 貴州大學
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06F30/20;H02J3/32;H02J3/46
• 代理公司: 北京東方盛凡知識產權代理事務所(普通合伙) 11562
• 代理人: 許佳

本發明涉及一種基于強化學習的微電網優化調度方法，包括：獲取微電網風光元件的預測信息以及電源的邊界信息，搭建基于強化學習的微電網優化調度強化學習模型；基于強化學習的微電網優化調度強化學習模型進行自學習，并積累自學習過程中學習到的調度知識，得到擁有先驗調度知識的微電網；通過遷移學習挖掘和利用學習到的調度知識，搭建相似度計算模型，用于實現所述調度知識的再利用；在新的微電網優化調度任務中利用先驗調度知識進行微調學習，獲得新任務的優化調度策略。本發明方法將強化學習和遷移學習引入到微電網優化調度中，強化學習具備強大的自學習和記憶能力，并且能夠將尋優過程中學習到的經驗知識儲存在神經網絡參數中。

技術領域

本發明涉及智能電網技術領域，特別是涉及一種基于強化學習的微電網優化調度方法。

背景技術

隨著社會電力需求的快速增長，傳統電網正面臨著化石資源枯竭導致的供需發展不平衡問題，以及使用傳統能源而造成的全球變暖、臭氧層破壞等生態環境問題。可再生能源作為一種綠色環保的可持續能源，在生產和消費過程中能夠減少對環境的污染，在一定程度上緩解能源短缺和生態環境問題。因此世界各國開始聚焦以可再生能源為核心的分布式發電技術，但受到氣候、環境等因素的影響，這類分布式發電技術的供電質量和可靠性無法保證。基于此，美國于2003年首次提出了微電網這一概念，微電網的提出旨在實現大規模分布式電源的高效靈活應用。優化調度作為微電網運行的核心，一直是微電網相關技術研究的熱點。微電網優化調度是在滿足用戶負荷需求和保證系統可靠性的前提下，合理分配系統內部各元件的能量流，最大限度地實現微電網資源的優化配置。如何有效地管理微電網中的能量流，充分發揮微電網的優勢，提高能源利用率的同時，保障系統的經濟效益，已成為學者們關注的重點，因此，深入研究微電網優化調度問題在理論和實際工程等方面具有十分重要的意義。

目前，國內外學者都非常重視微電網調度優化方面的研究，他們進行了大量的研究工作，研究思路基本是通過協調常規發電、分布式發電、儲能和需求側管理，建立相應的目標函數，然后利用算法求解調度策略。現階段對于微電網優化調度或其他優化問題的求解算法均是在經典數學方法和啟發式算法的基礎上做出的改進。1)經典數學方法。例如牛頓法、線性規劃、二次規劃、內點法等，這些方法在求解速度及收斂可靠性方面具有優勢，但當問題是復雜的非線性，目標函數及約束條件是非連續性時，尋優性能無法保證，容易陷入局部最優甚至失效，應用靈活性差。2)智能算法，例如混合整數線性規劃方法、動態規劃方法、遺傳算法、粒子群優化算法、蟻群算法等，相比經典數學方法而言，啟發式算法對數學模型依賴較小，容易處理非線性問題，應用靈活性高，在電力系統的不同優化問題中應用廣泛，但啟發式算法的參數設定隨機性較高，結果受其影響較大

通過深入分析，發現這兩類算法共同存在一個問題，對于優化任務的求解是孤立的，在學習過程中均沒有對學習到的經驗知識進行有效的積累，所以在面對新的任務時不得不重頭開始學習，簡單的來說，就是不具備對優化信息的積累和利用的能力。隨著多種微電網組織形式更加的多元化，許多難以預料的控制問題都會呈現出來，因此我們需要加強對學習到的經驗知識進行有效的積累和利用，以便能夠高效快速的獲得優化調度策略，實現較好的經濟效益。

通過對機器學習的研究，發現強化學習具備強大的自學和記憶能力，遷移學習能夠實現知識的遷移，所以本發明提出了基于強化學習的微電網優化調度方法。

發明內容

本發明的目的是通過引入強化學習，同時結合遷移學習解決上述問題，實現調度知識的自學習積累并實現對積累的調度知識的遷移利用。

為實現上述目的，本發明提供了如下方案：

一種基于強化學習的微電網優化調度方法，包括：

S1、獲取微電網風光元件的可觀測特征信息，搭建微電網優化調度強化學習模型；

S2、基于所述微電網優化調度強化學習模型進行自學習，并積累自學習過程中學習到的調度知識，得到擁有先驗調度知識的微電網；