[發明專利]基于深度強化學習的含氫儲能微網優化運行方法

有效

• 申請號: 202110471604.4
• 申請日: 2021-04-29
• 公開（公告）號: CN113095715B
• 公開（公告）日: 2022-07-05
• 發明（設計）人: 朱振山;翁智敏;葉成濤;陳哲盛;鄭海林;吳詩雨
• 申請（專利權）人: 福州大學
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06N3/04;G06N3/08;G06F30/20
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 丘鴻超;蔡學俊

1.一種基于深度強化學習的含氫儲能微網優化運行方法，其特征在于：利用線性插值法建立電解槽效率特性模型，并將電解槽效率特性模型與微型燃氣輪機、電化學儲能、儲氫罐和燃料電池模型相結合，以最小化微網運行成本為目標，構建含氫儲能微網優化運行模型；并采用深度確定性策略梯度算法求解微網優化運行決策問題，包括以下步驟：

步驟S1：計算電解槽效率與輸入功率，獲取電解槽效率特性數據，利用查表線性插值的方法構建電解槽效率特性模型，具體包括：

步驟S11：計算電解槽效率特性：

電解槽效率η_el由電壓效率η_v和電流效率η_i兩部分組成：

η_el＝η_iη_v

η_v＝(U_tn/U_el)*100％

式中：I為電解槽的堆棧電流；U_tn為理論分解電壓；U_el為電解電壓；

其中，電解電壓由以下式子算出：

U_rev(T,p)＝1.5184-1.5421×10^-3T+9.523×10^-5TlnT+9.84×10^-8T²

U_ohm＝IR_i

式中：T為電解槽工作溫度；U_rev為電解水的可逆電壓；U_ohm為電解質自身電阻產生的電阻壓降；依次為電解水產生的氫超電勢、氧超電勢；R_i為電解質電阻；R為普適氣體常數，F為法拉第常數；α_c為陰極的電荷傳遞系數，α_a為陽極的電荷傳遞系數；j_co為陰極的交換電流密度，j_ao為陽極的交換電流密度；n_c為陰極的電子轉移數，n_a分別為陽極的電子轉移數；

電解槽輸入功率由以下式子算出：

P_el＝U_elI；

步驟S12：構建基于查表線性插值法的電解槽效率特性模型：

取若干個計算出的功率效率數據對作為原始數據，形成數據表；通過查表以及線性插值的方式求出對應的電解槽效率：

式中，P₀、P₁分別為查表時數據表中離P_el最近的兩個功率；η₀為P₀在數據表中對應的電解槽效率，η₁為P₁在數據表中對應的電解槽效率；

步驟S2：以最小化微網運行成本為目標，構建由光伏發電裝置、微型燃氣輪機、電化學儲能以及電解槽、儲氫罐和燃料電池組成的氫儲能系統的含氫儲能微網優化運行模型；

步驟S3：利用深度確定性策略梯度算法優化微網運行成本，具體包括：

步驟S31：確定狀態空間和動作空間：

微網優化運行的狀態空間參數包括光伏實時發電功率P_t^PV、實時用電負荷P_t^load、電化學儲能的實時荷電狀態氫儲罐的儲氫狀態

式中，s_t表示t時刻微網狀態；

電化學儲能充放電功率通過SOC約束和額定功率算出；

微網運行優化的動作空間用微型燃氣輪機出力P_t^MT和氫儲能系統充放電功率表示：

式中，a_t表示t時刻動作；

步驟S32：設計獎勵值：

將約束條件轉換為獎勵函數的一部分：

D₂＝2(P_t^curt+P_t^loss)

r_t＝-F_t-D₂+D₁

其中：

C_bat(t)＝c_bat|P_t^b|

C_el(t)＝c_elP_t^el

C_fc(t)＝c_fcP_t^fc

式中，D₁為氫儲能SOC罰函數；表示氫儲能SOC的上限，表示氫儲能SOC的下限，D₂表示失負荷和棄光成本；P_t^curt為t時刻棄光功率，P_t^loss為t時刻失負荷功率；r_t為t時刻獎勵，F_t為t時刻微網運行成本；C_MT(t)為t時刻微型燃氣輪機的運行成本；為t時刻微型燃氣輪機的CO₂排放成本；C_bat(t)為電化學儲能的運維成本，C_el(t)為電解槽的運維成本，C_fc(t)為燃料電池的運維成本；c_bat為電化學儲能的運維成本系數，c_el為電解槽的運維成本系數，c_fc為燃料電池的運維成本系數；為燃氣輪機CO₂排放系數；為碳交易市場碳排放價格；P_t^b為t時刻電化學儲能的充放電功率；P_t^el為t時刻電解槽功率、P_t^fc為t時刻燃料電池功率；

步驟S33：利用深度確定性策略梯度算法優化微網運行成本：

首先確定迭代次數和調度周期長度，初始化深度確定性策略梯度算法超參數，然后，選擇微網初始狀態，根據策略網絡選擇動作并疊加噪聲，根據動作計算電化學儲能功率，執行動作，觀察當前獎勵，并將當前狀態、動作、獎勵、下一時刻狀態存儲至經驗池；最后，選取樣本，根據更新公式更新策略網絡和評價網絡及目標網絡并更新狀態，重復至調度周期結束，開始下一輪迭代。