[發明專利]基于深度強化學習的異構柔性負荷實時調控方法和裝置

有效

• 申請號: 202011389959.0
• 申請日: 2020-12-02
• 公開（公告）號: CN112488531B
• 公開（公告）日: 2022-09-06
• 發明（設計）人: 肖云鵬;蔡秋娜;關玉衡;張蘭;白楊;劉思捷
• 申請（專利權）人: 廣東電網有限責任公司電力調度控制中心
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q50/06;G06N3/08;G06K9/62;G06F30/27;H02J3/00;H02J3/14
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 蘇云輝

1.一種基于深度強化學習的異構柔性負荷實時調控方法，其特征在于，包括：

對電力系統不同類型的異構柔性負荷分別建立單一柔性負荷動態模型，得到單一柔性負荷的狀態變量、動作變量、環境變量和回報函數；

根據所有單一柔性負荷的所述狀態變量、動作狀態變量、環境變量和回報函數，建立異構柔性負荷聚合模型，所述異構柔性負荷聚合模型包括聚合負荷的狀態變量、狀態空間、動作變量、動作空間和狀態轉移函數；其中，所述異構柔性負荷聚合模型為：

s(t+1)＝F_transition(s(t),a(t),w(t))

其中，s(t+1)為t+1時刻聚合負荷的狀態變量，F_transition(s(t),a(t),w(t))為t時刻聚合負荷的狀態轉移函數，s(t)為t時刻聚合負荷的狀態變量，a(t)為t時刻聚合負荷的動作變量，w(t)為t時刻的環境變量，R_agg(t)為聚合負荷在t時刻的回報函數，r_DR(t)為t時刻聚合負荷參與需求響應的總收益，λ(t)(P_agg(t)-P_base(t))Δt為電費支出減少量,f_i^unc為用戶不適應度，T_i^L為用戶的舒適度溫度下限；T_i^U為用戶的舒適溫度上限，T_i^min為設備i的溫度變化下限，T_i^max為設備i的溫度變化上限，N為電采暖設備數，L為電熱水設備數，T_i(t)為室內溫度，為室內溫度T_i(t)超出用戶的舒適溫度上限T_i^U的不適度懲罰因子，為室內溫度T_i(t)低于用戶的舒適溫度下限T_i^L的不適度懲罰因子；

將所述聚合模型應用到電力系統實時調控環境下，得到聚合負荷參與實時響應的回報函數；

建立聚合負荷實時調控深度強化學習模型，根據所述聚合負荷的狀態變量、動作變量、狀態轉移函數和參與實時響應的回報函數，對所述聚合負荷實時調控深度強化學習模型進行訓練，得到柔性負荷聚合的實時優化調控決策模型；

將目標聚合負荷的狀態變量輸入柔性負荷聚合的實時優化調控決策模型，得到聚合負荷實時調控的最優策略。

2.根據權利要求1所述的基于深度強化學習的異構柔性負荷實時調控方法，其特征在于，所述單一柔性負荷動態模型包括負荷溫控動態函數、用戶不適度函數和回報函數。

3.根據權利要求1所述的基于深度強化學習的異構柔性負荷實時調控方法，其特征在于，所述聚合負荷實時調控深度強化學習模型采用深度Q值網絡算法訓練。

4.根據權利要求3所述的基于深度強化學習的異構柔性負荷實時調控方法，其特征在于，所述深度強化學習模型的損失函數為：

其中，y_j為Q網絡函數的目標值，m為樣本數，θ為Q網絡函數的權重系數，s_j為第j個樣本的狀態變量，a_j為第j個樣本的動作變量。