[發明專利]基于深度強化學習的完全分布式智能電網經濟調度方法

有效

• 申請號: 201911206937.3
• 申請日: 2019-11-29
• 公開（公告）號: CN110929948B
• 公開（公告）日: 2022-12-16
• 發明（設計）人: 符楊;郭笑巖;米陽;張智泉;丁枳尹;袁明瀚;李振坤;田書欣
• 申請（專利權）人: 上海電力大學
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06Q10/06;G06Q50/06;G06N3/08;G06N20/00
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 王懷瑜

1.一種基于深度強化學習的完全分布式智能電網經濟調度方法，其特征在于，該方法包括以下步驟：

S1：獲取完全分布式智能電網的網絡拓撲結構數據，建立基于負荷分配和機組組合的經濟調度模型；

S2：初始化Q函數表和調度策略，并通過深度強化學習模型獲取所述經濟調度模型的局部最優解，并將所述局部最優解作為第一Q函數表；

S3：將第一Q函數表載入預訓練后的深度卷積神經網絡中進行更新，獲取第二Q函數表；

S4：根據第二Q函數表，初始化各個機組的功率，將各個機組的功率載入基于一致性原理的機組功率求解模型中，并根據網絡拓撲結構數據，獲取滿足預設的收斂條件的各機組的功率，從而更新第二Q函數表，獲取全局最優解；

S5：采用全局最優解進行智能電網經濟調度；

所述Q函數表包括狀態-動作值函數；

步驟S3中，所述深度卷積神經網絡的預訓練過程具體為，通過隨機梯度下降更新網絡參數，從而更新第一Q函數表，直到滿足預設的誤差條件；所述網絡參數的更新表達式為：

式中，ω_t為t時刻的網絡參數，ω_t+1為t+1時刻的網絡參數，為t時刻的網絡參數下的隨機梯度下降策略，ξ為深度卷積神經網絡的學習率，reward2_t為深度卷積神經網絡在t時刻的獎勵函數值，γ為折扣因子，Q(S_i,t,P_i,t)為第i個可調單元在t時刻的狀態-動作值函數，Q(S_i,t+1,P_i,t+1)為第i個可調單元在t+1時刻的狀態-動作值函數；

所述誤差條件根據誤差函數值設定，所述誤差函數值的計算表達式為：

式中，L(ω_t)為t時刻的網絡參數下的誤差函數值。

2.根據權利要求1所述的一種基于深度強化學習的完全分布式智能電網經濟調度方法，其特征在于，步驟S1中，所述基于負荷分配和機組組合的經濟調度模型的表達式包括：

目標函數：

約束條件：

P_i,t∈P(S_i,t)

式中，γ為折扣因子，γ^t-1為t-1時刻的累計折扣因子，F_i(·)為經濟成本函數，P_i,t為第i個可調單元在t時刻的出力，S_i,t為第i個可調單元在t時刻的狀態，P_loss為功率損失，D_t為t時刻不可調的總剛性負荷，N_c為已投入的可調單元的總個數；所述可調單元包括可調單元與柔性負荷單元，所述可調單元出力為正值，所述柔性負荷單元出力為負值；

F_i(·)＝C_i(P_i,t)I_i,t+C_i,SU(t)+C_i,SD(t)

式中，C_i(·)為可調單元運行時的成本函數，I_i,t＝1或0為第i個可調單元在第t時段內處于投入運行或停機狀態，C_i,SD(t)為t時刻的停機成本，C_i,SU(t)為t時刻的啟動成本，若T_i,D≤X_i,OFF(t)≤T_i,D+T_i,b2c，則t時刻的啟動成本C_i,SU(t)為熱啟動成本C_i,hot；若X_i,OFF(t)≥T_i,D+T_i,b2c，則t時刻的啟動成本C_i,SU(t)為冷啟動成本C_i,cold，T_i,D為第i個可調單元的最短持續停機時間，X_i,OFF(t)為第i個可調單元在t時刻已經連續處于停機狀態的時間，T_i,b2c為第i個可調單元選擇停機狀態冷卻模式的經濟性超越停機狀態熱態模式時的臨界時間；

式中，T_i＝max{T_i,U,T_i,D,T_i,b2c}，P_i,0為第i個可調單元的初始出力狀態，I_i,0為第i個可調單元的初始運行狀態，P_i,t-1為第i個可調單元在t-1時刻的出力。