[發明專利]一種基于深度強化學習的需求響應控制方法

在審

• 申請號: 202010562543.8
• 申請日: 2020-06-18
• 公開（公告）號: CN111725836A
• 公開（公告）日: 2020-09-29
• 發明（設計）人: 奚培鋒;張少迪;江浩;官樂樂;崔承剛;胡桐月;方文
• 申請（專利權）人: 上海電器科學研究所(集團)有限公司;上海電器科學研究院;上海電機系統節能工程技術研究中心有限公司
• 主分類號: H02J3/38
• 分類號: H02J3/38;H02J3/46;H02J3/28;G06N3/08;G06Q50/06;G06N3/04;G06F30/27
• 代理公司: 上海璀匯知識產權代理事務所(普通合伙) 31367
• 代理人: 王文穎

1.一種基于深度強化學習的需求響應控制方法，其特征在于，包括以下步驟：

步驟1、滿足綜合能源系統的供銷平衡的前提下，將綜合能源系統最小耗能問題建模為基于馬爾可夫博弈的深度神經網絡，并設計相應的動作、環境狀態、以及獎勵函數，包括以下步驟：

步驟101、將動作的表達式設計為：

A_t＝(P_A，t，P_B，t，P_C，t，P_D，t，P_E，i，t，P_H，t)

上式中，A_t表示t時刻的動作，P_A，t表示t時刻的儲電系統的放電量，P_B，t表示t時刻儲熱系統的放熱量，P_C，t表示t時刻的微燃機的消耗燃氣量，P_D，t表示t時刻的燃氣鍋爐的消耗燃氣量，P_E，i，t表示第i個電動汽車t時刻的電動汽車充電量，P_H，t表示t時刻的可中斷負荷的中斷量；

步驟102、建立綜合能源系統模型及需求響應機制，其中，綜合能源系統包括微型燃氣輪機、燃氣鍋爐、儲電裝置和儲熱裝置，并將電動汽車當作儲能裝置，參與電力調度，則有：

微型燃氣輪機模型如下式所示：

P_gas，t＝P_C，tL_NG

式中，P_MT，t表示t時刻微型燃氣輪機的發電功率，表示微型燃氣輪機的發電效率，P_gas，t表示t時刻微型燃氣輪機消耗的天然氣功率，Q_MT，t表示t時刻微型燃氣輪機的產熱功率，表示微型燃氣輪機的散熱損失系數，P_C，t表示t時刻微型燃氣輪機消耗的燃料量，L_NG表示天然氣燃燒的低熱值；

燃氣鍋爐模型如下式所示：

式中，Q_GB，t表示t時刻燃氣鍋爐的熱功率，P_D，t表示t時刻燃氣鍋爐在消耗的燃氣量，表示燃氣鍋爐的產熱效率；

電動汽車充放電模型如下式所示：

當EV_SOC，t+P_G，t≤EV_capacity時，電動汽車的充電量為P_G，t；

當EV_SOC，t+P_G，t≥EV_capacity時，電動汽車的充電量P_G，t＝EV_capacity-EV_SOC，t；

式中，EV_SOC，t為電動汽車t時刻電量，EV_capacity為電動汽車容量；

可中斷負荷模型如下式所示：

P_H，min≤P_H，t≤P_H，max

式中，P_H，min表示可中斷容量的最小值，P_H，t表示t時刻可中斷容量，P_H，max可中斷容量的最大值；

儲電系統充放電模型如下式所示：

當P_A，t＞0時，儲電系統處于放電狀態，放電狀態包括正常放電狀態及過度放電狀態，當儲電系統處于正常放電狀態時：

ESS_min＜ESS_SOC，t-P_A，t≤ESS_capacity

t時刻電網的購電量P_GA，t＝ele_demand+P_G，t-P_A，t-P_MT，t-F_e，t；

式中，ESS_min、ESS_capacity、ESS_SOC，t分別為儲電系統最低電量、儲電系統容量和儲電系統t時刻電量，ele_demand為電負荷需求量，F_e，t為靈活爬坡量；

當儲電系統處于過度放電狀態時：

ESS_SOC，t-P_A，t≤ESS_min

t時刻電網的購電量P_GA，t＝ele_demand+P_G，t-(ESS_min-ESS_SOC，t)-P_MT，t-F_e，t；

當P_A，t＜0時，儲電系統處于充電狀態：

ESS_SOC，t-P_A，t≥ESS_capacity

t時刻電網的購電量P_GA，t＝ele_demand+P_G，t-(ESS_SOC，t-ESS_capacity)-P_MT，t-F_e，t；

儲熱系統蓄/放模型如下式所示：

當P_B，t＞0時，儲熱系統處于放熱狀態，放熱狀態包括正常放熱狀態及過度放熱狀態，當儲熱系統處于正常放熱狀態時：

HSS_min＜HSS_SOC，t-P_B，t≤HSS_capacity

t時刻的可中斷負荷的中斷量P_H，t＝heat_demand-P_B，t-Q_MT，t；

式中，HSS_min為儲熱系統最低熱量，HSS_capacity為儲熱系統容量，HSS_SOC，t儲熱系統t時刻熱量，heat_demand，t為熱負荷需求量；

當儲熱系統處于過度放熱狀態時：

HSS_SOC，t-P_B，t≤HSS_min

t時刻的可中斷負荷的中斷量P_H，t＝heat_demand-(HSS_min-HSS_SoC，t)-Q_MT；

當P_B，t＜0時，儲熱系統處于蓄熱狀態：

HSS_SoC，t-P_B，t≥HSS_capacity

t時刻的可中斷負荷的中斷量P_H，t＝heat_demand-(HSS_SOC，t-HSS_capacity)-Q_MT；

步驟103、將環境狀態的表達式設計為：

S_t＝(ΔP_grid，ΔP_A，t，ΔP_B，t，ΔP_C，t，ΔP_D，t，ΔP_E，i，t)

式中，S_t代表t時刻環境狀態值，ΔP_grid代表t時刻與t-1時刻從電網購電價格的差值，ΔP_A，t代表t時刻與t-1時刻儲電系統的電量的差值，ΔP_B，t代表t時刻與t-1時刻儲熱系統的熱量的差值，ΔP_C，t代表t時刻與t-1時刻微燃機的發電量的差值，ΔP_D，t代表t時刻與t-1時刻燃氣鍋爐的發熱量的差值，ΔP_E，t代表時刻與t-1時刻的第i個電動汽車的電動汽車充電量的差值；

步驟104、將獎勵函數reward表達式設計為：

式中，price_ele，t為t時刻電網買電電價，price_heat，t為t時刻供熱價格，price_gas，t為t時刻天然氣價格，price_F，t為t時刻靈活爬坡備用價格，price_IL，t為t時刻可中斷補償價格；

馬爾科夫決策過程求解獎勵函數reward的最大值，故取耗能成本的負值，當獎勵函數reward取得最大值時，綜合能源系統的耗能成本最低；

步驟2、使用深度確定性梯度算法對步驟1建立的深度神經網絡進行訓練，深度確定性梯度算法包括actor當前策略網絡、actor目標策略網絡、critic當前Q網絡和critic目標Q網絡；

步驟3、在實際應用中，依據訓練好的深度神經網絡和新的環境狀態輸入即可獲得關于綜合能源系統中微燃機、儲電/熱裝置和燃氣鍋爐各個時刻的出力情況以及可中斷負荷的中斷容量情況。