[發(fā)明專利]一種基于SAC算法的混合能源系統(tǒng)在線調(diào)度方法

有效

• 申請?zhí)枺?/td>: 202210439618.2
• 申請日: 2022-04-25
• 公開（公告）號: CN114865696B
• 公開（公告）日: 2023-06-02
• 發(fā)明（設(shè)計）人: 胡維昊;張真源;井實;黃琴;張國洲;曹迪;陳健軍;胡家祥;熊康;詹巍
• 申請（專利權(quán)）人: 電子科技大學(xué);國家電投集團西南能源研究院有限公司
• 主分類號: H02J3/38
• 分類號: H02J3/38;H02J3/46;H02J3/00;G06Q10/0631;G06Q50/06;G06N3/045;G06N3/08;G06F18/20
• 代理公司: 成都行之智信知識產(chǎn)權(quán)代理有限公司 51256
• 代理人: 溫利平

1.一種基于SAC算法的混合能源系統(tǒng)在線調(diào)度方法，其特征在于，包括以下步驟：

(1)、采集風(fēng)力發(fā)電廠WT的歷史發(fā)電數(shù)據(jù)，記為P_WT,t，采集光伏電站PV的歷史發(fā)電數(shù)據(jù)，記為P_PV,t；采集混合能源系統(tǒng)的歷史負荷Load，記為P_Load,t；采集電網(wǎng)的歷史電價數(shù)據(jù)，記為E_price,t；其中，t表示時刻，t＝1,2,3,…；

(2)、構(gòu)建抽水蓄能電站PSH的出力模型；

其中，P_t^Hydro為抽水蓄能電站在t時刻的發(fā)出功率；η_h為抽水蓄能電站發(fā)電效率；H_h為發(fā)電站的凈水高度；Q_h為t時刻通過渦輪機的水流量；P_t^Pump為抽水蓄能電站在t時刻的泵送功率；η_p為是水泵水輪機的泵送效率；H_p為發(fā)電站的凈水高度；Q_p為t時刻通過水泵的水流量；V_t^l和分別為t時刻和前一時刻水庫的蓄水能力，Δt為時刻間隔量；和分別為水庫最小蓄水量和最大蓄水量；

(3)、構(gòu)建風(fēng)-光-抽水蓄能-碳捕獲混合能源系統(tǒng)的在線調(diào)度目標函數(shù)及約束條件；

目標函數(shù)為：

其中，T為優(yōu)化運行周期，f_G表示向電網(wǎng)購電成本，f_c表示碳捕獲系統(tǒng)的懲罰函數(shù)，P_PCC,t表示t時刻混合能源系統(tǒng)的平衡點功率，E_price,t為t時刻的電價；λ_c為碳捕獲系統(tǒng)的功耗系數(shù)；P_CCS,t為t時刻碳捕獲系統(tǒng)的消耗功率；

P_PCC,t＝P_WT,t+P_PV,t-P_Load,t+P_PSH,t-P_CCS,t

當P_PSH,t為正數(shù)時表示抽水蓄能電站中水輪機發(fā)出功率，即P_t^Hydro＝P_PSH,t；當P_PSH,t為負數(shù)時表示抽水蓄能電站的泵送功率，即P_t^Pump＝-P_PSH,t；

約束條件為：

其中，表示抽水蓄能的最大吸收功率，表示水輪機的最大發(fā)電功率，表示碳捕獲系統(tǒng)最大消耗功率；

(4)、搭建并訓(xùn)練基于SAC算法(Soft?Actor?Critic,SAC)的風(fēng)-光-抽水蓄能-碳捕獲混合能源系統(tǒng)在線調(diào)度模型；

(4.1)、將一個運行周期內(nèi)的風(fēng)-光-抽水蓄能-碳捕獲混合能源系統(tǒng)的在線調(diào)度目標函數(shù)及約束條件轉(zhuǎn)化為包含狀態(tài)集合S、動作集合A和獎勵函數(shù)r的無約束的馬爾可夫決策過程；

其中，S包含決策過程所有狀態(tài)，t時刻的狀態(tài)s_t＝{P_WT,t,P_PV,t,P_Load,t}；A包含決策過程t時刻的所有動作a_t＝{P_PSH,t,P_CCS,t}；t時刻在s_t下執(zhí)行a_t獲得的即時獎勵值，記為r_t(a_t,s_t)；

(4.2)、將風(fēng)-光-抽水蓄能-碳捕獲混合能源系統(tǒng)的含約束優(yōu)化問題轉(zhuǎn)化為無約束問題；

r_t(a_t,s_t)＝F

(4.3)、構(gòu)建SAC算法所需的五個神經(jīng)網(wǎng)絡(luò)；

構(gòu)建一個策略網(wǎng)絡(luò)，記為φ，用于實現(xiàn)輸入狀態(tài)s_t到輸出動作a_t；

構(gòu)建一個狀態(tài)值網(wǎng)絡(luò)，一個目標狀態(tài)值網(wǎng)絡(luò)，記為ψ,用于實現(xiàn)輸入狀態(tài)s_t、輸出動作a_t到策略π下的動作價值函數(shù)Q^π(s_t,a_t)的映射，π為映射策略；

構(gòu)建一個兩個狀態(tài)動作值網(wǎng)絡(luò)，記為θ₁,θ₂，用于實現(xiàn)輸入狀態(tài)s_t、輸出動作a_t到狀態(tài)動作值網(wǎng)絡(luò)的動作價值函數(shù)

(4.4)、設(shè)置基于SAC算法的風(fēng)-光-抽水蓄能-碳捕獲混合系統(tǒng)在線調(diào)度模型的總迭代次數(shù)N和馬爾可夫過程的迭代步數(shù)T；設(shè)置記憶庫，記其容量為D，并初始化為空；初始化所有神經(jīng)網(wǎng)絡(luò)的參數(shù)集合，初始化n＝1，初始化學(xué)習(xí)率α，初始化計數(shù)器m；

(4.5)、初始化風(fēng)-光-抽水蓄能-碳捕獲混合系統(tǒng)，令t＝1并獲取當前狀態(tài)s_t，然后執(zhí)行一次馬爾可夫過程；

(4.6)、判斷t是否小于T，若t＜T，則進入步驟(4.7)，反之，則進入步驟(4.17)；

(4.7)、將s_t送輸入至策略網(wǎng)絡(luò)φ，得輸出動作a_t；

(4.8)、根據(jù)輸出動作a_t計算步驟(4.2)中的目標函數(shù)值r_t，同時獲得a_t作用后的下一時刻狀態(tài)s_t+1；

(4.9)、構(gòu)建元組信息{s_t,a_t,r_t,s_t+1}，并將其存入記憶庫的m％D位置處，然后賦值m＝m+1；

(4.10)、判斷m是否大于D，若是，則進入步驟(4.11)；反之，則進入步驟(4.16)；

(4.11)、更新基于最大熵的隨機策略π；

其中，α是溫度參數(shù)，T表示時間尺度，H(π(·|s_t))是當前狀態(tài)st和策略π下的熵，H(π(·|s_t))＝-logπ(·|s_t)；ρ_π表示策略π下的傳遞函數(shù)；

(4.12)、更新狀態(tài)值網(wǎng)絡(luò)ψ，并計算最小化殘差平方J(ψ)；

▽_ψJ(ψ)＝▽_ψV_ψ(s_t)(V_ψ(s_t)-Q_θ(s_t,a_t)+logπ_φ(a_t|s_t))

其中，V_ψ(s_t)為網(wǎng)絡(luò)ψ的狀態(tài)值函數(shù)；Q_θ(s_t,a_t)是和兩者中殘差平方中較小的一個，對應(yīng)的狀態(tài)動作值網(wǎng)絡(luò)記為θ；π_φ(a_t|s_t)為網(wǎng)絡(luò)φ在狀態(tài)s_t和動作a_t下的隨機策略；▽_ψ表示求梯度；

(4.13)、更新狀態(tài)動作值網(wǎng)絡(luò)θ，并計算最小化軟貝曼殘差J_Q(θ)；

其中，是網(wǎng)絡(luò)θ在下一狀態(tài)時的動作價值函數(shù)，r(st,a_t)狀態(tài)s_t和動作a_t下的獎勵值，γ為衰減因子；

(4.14)、更新策略網(wǎng)絡(luò)φ，并計算最小化KL散度；

其中，ε_t為輸入的噪聲干擾；N表示噪聲分布，f_φ(ε_t,s_t)為增加噪聲干擾后的動作值，a_t＝f_φ(ε_t,s_t)；

(4.15)、更新網(wǎng)絡(luò)

其中，τ為更新系數(shù)；

(4.16)、更新當前狀態(tài)，賦值t＝t+1且s_t＝s_t+1，然后返回至步驟(4.6)；

(4.17)、令n＝n+1，再判斷n是否大于N，如果是，則進入步驟(4.18)；反之，則進入步驟(4.5)；

(4.18)、迭代停止，并輸出神經(jīng)網(wǎng)絡(luò)參數(shù)集合，從而得到風(fēng)-光-抽水蓄能-碳捕獲混合系統(tǒng)在線調(diào)度模型；

(5)、實時采集風(fēng)電出力數(shù)據(jù)光伏電站PV出力數(shù)據(jù)負荷Load需求電價數(shù)據(jù)然后確定實時的并構(gòu)建t時刻的實時狀態(tài)最后將輸入至風(fēng)-光-抽水蓄能-碳捕獲混合系統(tǒng)在線調(diào)度模型，得到實時輸出動作然后按照實現(xiàn)混合系統(tǒng)的在線調(diào)度。