[發明專利]一種基于深度強化學習的需求響應控制方法

在審

• 申請號: 202010562543.8
• 申請日: 2020-06-18
• 公開（公告）號: CN111725836A
• 公開（公告）日: 2020-09-29
• 發明（設計）人: 奚培鋒;張少迪;江浩;官樂樂;崔承剛;胡桐月;方文
• 申請（專利權）人: 上海電器科學研究所(集團)有限公司;上海電器科學研究院;上海電機系統節能工程技術研究中心有限公司
• 主分類號: H02J3/38
• 分類號: H02J3/38;H02J3/46;H02J3/28;G06N3/08;G06Q50/06;G06N3/04;G06F30/27
• 代理公司: 上海璀匯知識產權代理事務所(普通合伙) 31367
• 代理人: 王文穎

本發明涉及一種基于深度強化學習的需求響應控制方法。本發明在滿足綜合能源系統能源供給與消耗的平衡的前提下，基于電價的可中斷負荷控制和能源存儲裝置來平滑電網負荷，實現削峰填谷和最小化園區的耗能成本。與現有技術相比，本發明具有如下優點：在不影響電動汽車用戶使用電動汽車的前提下，將電動汽車當作廣義儲能參與到電力調度中；考慮到靈活爬坡量，可以削減光伏和風電帶來的不確定性；在保證園區正常運行的前提下，在用電高峰時刻，對可中斷負荷容量進行削減，達到了削峰的同時也降低了園區的耗能成本；通過儲電裝置和儲熱裝置，在用電低谷期時，儲存電能和熱能，在用電高峰時參與能源調度，達到了填谷的目的。

技術領域

本發明涉及園區需求響應優化領域，具體涉及一種基于深度強化學習的園區需求響應優化控制方法，以提高園區綜合能源系統經濟性。

背景技術

園區綜合能源系統作為將多類型能源生產、存儲、傳輸、消費以及能源市場交易深度融合而衍生的全新能源工業形態，主要包括微型燃氣輪機、燃氣鍋爐、儲電裝置和儲熱裝置。但是隨著園區高比例新能源并網、電力電子裝置和新負荷接入與多種能源種類、網絡結構、主體的智能電網不斷發展，為電網帶來復雜性和不確定性。僅依靠發電側的支撐配合不能滿足智能電網實時供需平衡需求，需要通過可中斷負荷控制和可轉移負荷的控制來實現需求側削峰填谷與提高綜合能源系統運行經濟性。

已有一些方法解決綜合能源系統的需求響應優化中。文獻1：徐業琰等,基于綜合需求響應和博弈的區域綜合能源系統多主體日內聯合優化調度.電網技術,2019.43(07):第2506-2518頁.提出了一種兩階段優化調度策略。一階段為系統管理商的經濟收益優化，利用Stackelberg博弈和電價型IDR策略實現用戶對系統管理商經濟優化的制約；二階段為產能基地與用戶利益的聯合優化，采用激勵型IDR策略建立用戶與產能基地的互利關系，利用聯盟博弈實現用戶間制約平衡，從而實現三方主體利益相互制約和聯合優化。上述方法沒有考慮新能源的不確定性，在短時間調度時會造成計算偏差。專利1：CN110994694A，公開日：2020.04.10，提出一種計及差異化需求響應方法，根據負荷用電特性將負荷分為商業負荷、居民負荷和工業負荷，并根據不同類型負荷響應彈性差異性，構建了負荷變化量與電價改變量的新型價格型需求響應機制；然后結合儲能充放電模型，建立了微電網源荷儲協調優化調度模型。文獻2：孫毅,劉迪,李彬等.深度強化學習在需求響應中的應用[J].電力系統自動化,2019,第43卷(5):183-194.提出了基于深度強化學習的需求響應實施架構及實現流程。通過基于LSTM的用戶虛擬響應網絡，模擬用戶的響應行為，用二次函數近似表示用戶的效益函數代表響應成本；然后用動作Q值代表售電商的收益，通過深度強化學習的找到最大的獎勵值。

發明內容

本發明要解決的技術問題是：現有解決綜合能源系統的需求響應優化的方法未考慮綜合能源系統的分布式能源的出力情況，只是從需求響應成本單方面建立智能體與環境的交互。

為了解決上述技術問題，本發明的技術方案是提供了一種基于深度強化學習的需求響應控制方法，其特征在于，包括以下步驟：

步驟1、滿足綜合能源系統的供銷平衡的前提下，將綜合能源系統最小耗能問題建模為基于馬爾可夫博弈的深度神經網絡，并設計相應的動作、環境狀態、以及獎勵函數，包括以下步驟：

步驟101、將動作的表達式設計為：

A_t＝(P_A，t，P_B，t，P_C，t，P_D，t，P_E，i，t，P_H，t)