[發明專利]基于雙層強化學習的多能園區調度方法及系統

在審

• 申請號: 202010108574.6
• 申請日: 2020-02-21
• 公開（公告）號: CN111181201A
• 公開（公告）日: 2020-05-19
• 發明（設計）人: 聶歡歡;吳涵;張明龍;劉冰倩;王健;陳穎;張家琦
• 申請（專利權）人: 清華大學;國網福建省電力有限公司電力科學研究院
• 主分類號: H02J3/46
• 分類號: H02J3/46;H02J3/32;H02J3/38
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 楊明月

本發明提供的基于雙層強化學習的多能園區調度方法及系統，包括獲取綜合能源系統中的調度可控對象，即源側單元、負荷側單元、能量轉化單元與存儲單元；構建雙層優化決策模型，包括上層強化學習子模型和下層混合整數線性規劃子模型；上層強化學習子模型獲取存儲單元在當前時刻的狀態變量信息下的動作變量信息，并傳輸至下層混合整數線性規劃子模型；下層混合整數線性規劃子模型獲取對應的獎勵變量和存儲單元在下一時刻的狀態變量信息，并反饋至上層強化學習子模型；迭代執行上述步驟直至調度結束。本發明實施例通過數據驅動的強化學習方法，僅需根據當前狀態進行決策，而無需對未來信息的預測，決策時效性高、決策效果優，能實現實時趨優決策。

技術領域

本發明實施例涉及計算機技術領域，尤其涉及一種基于雙層強化學習的多能園區調度方法及系統。

背景技術

近年來，隨著化石能源的危機和環境問題的日益突出，世界各國都在尋找新的能量利用方式。未來能源的發展趨勢有以下幾個特點：能源需求持續增長，化石能源在未來很長一段時間內仍是主要一次能源；環境問題的迫切性，使得能源結構需以環境問題為核心不斷調整；可再生能源占比不斷提高。

在種種能源壓力下，構建綜合能源系統，由于可以實現多種能源耦合互補及梯級利用，以使得多種能源能夠在不同時間尺度上具有互補性和相關性，進而實現多時間尺度的能量轉換與傳遞、促進可再生能源消納、提高能量利用效率，成為適應社會能源變革、確保社會用能的必由之路。綜合能源系統的特點是其內部存在冷、熱、電、氣等多種能量形式，且不同形式的能源之間可以實現互相轉化，以及實現能量的耦合互補。

近年來電力系統的發展也為電網及能源互聯網的運行調度帶來了許多問題。例如：可再生能源的大規模接入引入了大量不確定性，給電網的運行調度增添了難度；電力市場的放寬和用戶的積極參與使分布式能源的協同利用變得更加復雜，給電網的商業交易和運行帶來了日益增加的不確定和復雜性；同時，信息的爆炸和數據的波動使得傳統的決策方法難以有效地解決系統的運行、規劃等問題。因此，亟需一種新的方法來處理高維數據及其波動性與不確定性。

現階段，多能園區綜合能源系統的調度一般存在三種場景：確定性無儲能場景、確定性有儲能場景和不確定性有儲能場景。其中：

一方面，確定性場景是指可以對未來的信息進行準確預測，即未來信息準確已知的情景，系統可以根據這些已知的未來信息進行系統的運行調度。當系統不存在儲能時，該多能流的經濟調度問題為一個多步優化問題，常見的方法為將運行調度問題離散為多個時間段內的優化問題，在每個時間段利用優化/凸優化等方法進行求解。

另一方面，當確定性系統存在儲能時，由于儲能會帶來時間上的能量耦合關系，每一個時刻系統的儲能出力均會對系統的未來運行狀態產生影響。此時該調度問題不再是一個多步優化問題，而變成了一個序列決策問題。針對此問題，可以采用混合整數規劃等方式求解，也可將該調度問題建立為馬爾可夫決策模型利用動態規劃等方法進行求解。

最后，可再生能源的引入會給綜合能源系統帶來很大的不確定性，且當多能園區規模較小時，負荷由于受用戶隨機性的影響效果更為明顯。因此，當系統負荷的未來信息，如：可再生能源出力及系統負荷等難以獲取或難以準確預測時，傳統優化及動態規劃等方法均難以求解多能園區能源系統的調度困難問題。

綜上所述，現有技術一方面難以處理強不確定性場景，對于未來信息難以預測的場景難以進行處理，并且進行優化求解時，求解速度較慢。

發明內容

本發明實施例提供一種基于雙層強化學習的多能園區調度方法及系統，用以克服現有技術在不同農作物根果的表型研究和精準分類預測方面存在的缺陷。

第一方面，本發明實施例提供一種基于雙層強化學習的多能園區調度方法，包括：

S1：獲取在不確定性有儲能場景下的綜合能源系統中的調度可控對象，該調度可控對象包括源側單元、負荷側單元、能量轉化單元與存儲單元；