[發明專利]基于深度強化學習的含氫儲能微網優化運行方法

有效

• 申請號: 202110471604.4
• 申請日: 2021-04-29
• 公開（公告）號: CN113095715B
• 公開（公告）日: 2022-07-05
• 發明（設計）人: 朱振山;翁智敏;葉成濤;陳哲盛;鄭海林;吳詩雨
• 申請（專利權）人: 福州大學
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06N3/04;G06N3/08;G06F30/20
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 丘鴻超;蔡學俊

本發明提出一種基于深度強化學習的含氫儲能微網優化運行方法，利用線性插值法建立了電解槽效率特性模型，并將電解槽效率特性模型與燃氣輪機、電化學儲能、儲氫罐和燃料電池等模型相結合，以微網運行成本為目標，構建含氫儲能微網優化運行模型。最后采用深度確定性策略梯度算法求解微網優化運行這一序列決策問題。該方法考慮了電解槽的效率特性，可以充分利用氫儲能容量，根據深度強化學習原理求解優化問題，降低了含氫儲能微網的運行成本，且具有較好的泛化性。

技術領域

本發明屬于電力系統優化運行與調度技術領域，尤其涉及一種基于深度強化學習的含氫儲能微網優化運行方法。

背景技術

隨著“二氧化碳排放力爭于2030年前達到峰值，努力爭取2060年前實現碳中和”目標的提出，如何提高可再生能源利用率，減少碳排放成為當下的研究熱點問題。然而，微網中大量的可再生能源具有間歇性和隨機性，給微網的調度運行帶來了巨大挑戰。

目前，微網經濟調度問題通常使用傳統規劃算法或啟發式算法求解。然而，傳統規劃算法對于非線性、非凸等問題難以避免局部最優解，啟發式算法可以解決非線性非凸問題，但存在收斂速度慢、泛化性不強等問題。且上述算法，常常依賴于對可再生能源出力與負荷波動不確定性的精確預測，無法適應源荷的動態變化。

深度強化學習是一種機器學習方法，具備感知環境能力和決策能力，可以感知環境中的不確定性。目前，深度強化學習已經在電網無功優化、電動汽車、電力市場等領域取得一定的效果。

發明內容

針對現有技術的空白，本發明提出了一種基于深度強化學習的含氫儲能微網優化運行方法，利用線性插值法建立了電解槽效率特性模型，并將電解槽效率特性模型與燃氣輪機、電化學儲能、儲氫罐和燃料電池等模型相結合，以微網運行成本為目標，構建含氫儲能微網優化運行模型。最后采用深度確定性策略梯度算法求解微網優化運行這一序列決策問題。該方法考慮了電解槽的效率特性，可以充分利用氫儲能容量，根據深度強化學習原理求解優化問題，降低了含氫儲能微網的運行成本，且具有較好的泛化性。

其應用線性插值法構建電解槽效率特性模型，更精確評估電解槽的運行成本。以最小化微網運行成本為目標，構建含氫儲能微網調度模型，并采用深度確定性策略梯度算法優化其運行成本。

本發明具體采用以下技術方案：

一種基于深度強化學習的含氫儲能微網優化運行方法，其特征在于：利用線性插值法建立電解槽效率特性模型，并將電解槽效率特性模型與燃氣輪機、電化學儲能、儲氫罐和燃料電池模型相結合，以最小化微網運行成本為目標，構建含氫儲能微網優化運行模型；并采用深度確定性策略梯度算法求解微網優化運行決策問題。

進一步地，包括以下步驟：

步驟S1：計算電解槽效率與輸入功率，獲取電解槽效率特性數據，利用查表線性插值的方法構建電解槽效率特性模型；

步驟S2：以微網運行成本最小化為目標，構建包含光伏發電裝置、微型燃氣輪機、電化學儲能以及電解槽、儲氫罐和燃料電池組成的氫儲能系統的含氫儲能微網經濟調度模型；

步驟S3：利用深度確定性策略梯度算法優化微網運行成本。

進一步地，步驟S1中利用查表線性插值的方法構建電解槽效率特性模型，具體包括：

步驟S11：計算電解槽效率特性：

電解槽效率η_el由電壓效率η_v和電流效率η_i兩部分組成：

η_el＝η_iη_v

η_v＝(U_tn/U_el)*100％