[發(fā)明專利]基于深度強(qiáng)化學(xué)習(xí)的異構(gòu)柔性負(fù)荷實(shí)時(shí)調(diào)控方法和裝置

有效

• 申請?zhí)枺?/td>: 202011389959.0
• 申請日: 2020-12-02
• 公開（公告）號: CN112488531B
• 公開（公告）日: 2022-09-06
• 發(fā)明（設(shè)計(jì)）人: 肖云鵬;蔡秋娜;關(guān)玉衡;張?zhí)m;白楊;劉思捷
• 申請（專利權(quán)）人: 廣東電網(wǎng)有限責(zé)任公司電力調(diào)度控制中心
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q50/06;G06N3/08;G06K9/62;G06F30/27;H02J3/00;H02J3/14
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 蘇云輝

本申請公開了一種基于深度強(qiáng)化學(xué)習(xí)的異構(gòu)柔性負(fù)荷實(shí)時(shí)調(diào)控方法和裝置，首先，針對不同類型的異構(gòu)柔性負(fù)荷，分別建立單一柔性負(fù)荷模型，然后針對不同參數(shù)異構(gòu)的多個(gè)柔性負(fù)荷建立聚合負(fù)荷模型，從而得到異構(gòu)柔性負(fù)荷參與需求響應(yīng)時(shí)的馬爾科夫決策過程，并通過深度強(qiáng)化學(xué)習(xí)的機(jī)器學(xué)習(xí)框架基于歷史數(shù)據(jù)對聚合體的決策函數(shù)進(jìn)行訓(xùn)練，得到異構(gòu)柔性負(fù)荷聚合體的實(shí)時(shí)優(yōu)化調(diào)控決策模型，從而得到聚合負(fù)荷實(shí)時(shí)調(diào)控的最優(yōu)策略，提高了用戶側(cè)的柔性負(fù)荷響應(yīng)能力。解決了現(xiàn)有的負(fù)荷調(diào)控方式用戶側(cè)柔性負(fù)荷的響應(yīng)能力低，難以激發(fā)用戶側(cè)的需求響應(yīng)潛力的技術(shù)問題。

技術(shù)領(lǐng)域

本申請涉及電力系統(tǒng)負(fù)荷調(diào)控技術(shù)領(lǐng)域，尤其涉及一種基于深度強(qiáng)化學(xué)習(xí)的異構(gòu)柔性負(fù)荷實(shí)時(shí)調(diào)控方法和裝置。

背景技術(shù)

隨著大量不同的需求側(cè)柔性負(fù)荷廣泛接入并參與電網(wǎng)調(diào)控，柔性負(fù)荷異構(gòu)特性逐漸凸顯，異構(gòu)性的處理成為實(shí)際調(diào)控應(yīng)用的關(guān)鍵問題。異構(gòu)負(fù)荷又被區(qū)分為類型和參數(shù)兩種異構(gòu)方式，通常不同種類的負(fù)荷構(gòu)成類型異構(gòu)，相同種類但固有參數(shù)不同的負(fù)荷構(gòu)成參數(shù)異構(gòu)，對異構(gòu)柔性負(fù)荷的建模是柔性負(fù)荷調(diào)控的基礎(chǔ)。

常規(guī)的負(fù)荷調(diào)控以既定物理參數(shù)對異構(gòu)負(fù)荷建模，進(jìn)而根據(jù)參數(shù)的相似性聚類劃分成同構(gòu)群或等效群進(jìn)行目標(biāo)優(yōu)化和統(tǒng)一調(diào)度，但是難以避免多樣性異構(gòu)設(shè)備物理參數(shù)復(fù)雜的問題。例如針對溫控型負(fù)荷，常規(guī)方法主要基于負(fù)荷的動態(tài)溫度特性和周期性運(yùn)行方式，建立溫控型負(fù)荷的一階熱力學(xué)模型，但是由于負(fù)荷種類繁多、參數(shù)差異化嚴(yán)重、調(diào)控所依賴的感知和交互信息多元，導(dǎo)致用戶側(cè)柔性負(fù)荷的響應(yīng)能力降低，難以激發(fā)用戶側(cè)的需求響應(yīng)潛力。

發(fā)明內(nèi)容

本申請?zhí)峁┝艘环N基于深度強(qiáng)化學(xué)習(xí)的異構(gòu)柔性負(fù)荷實(shí)時(shí)調(diào)控方法和裝置，用于解決現(xiàn)有的負(fù)荷調(diào)控方式用戶側(cè)柔性負(fù)荷的響應(yīng)能力低，難以激發(fā)用戶側(cè)的需求響應(yīng)潛力的技術(shù)問題。

有鑒于此，本申請第一方面提供了一種基于深度強(qiáng)化學(xué)習(xí)的異構(gòu)柔性負(fù)荷實(shí)時(shí)調(diào)控方法，包括：

對電力系統(tǒng)不同類型的異構(gòu)柔性負(fù)荷分別建立單一柔性負(fù)荷動態(tài)模型，得到單一柔性負(fù)荷的狀態(tài)變量、動作變量、環(huán)境變量和回報(bào)函數(shù)；

根據(jù)所有單一柔性負(fù)荷的所述狀態(tài)變量、動作狀態(tài)變量、環(huán)境變量和回報(bào)函數(shù)，建立異構(gòu)柔性負(fù)荷聚合模型，所述異構(gòu)柔性負(fù)荷聚合模型包括聚合負(fù)荷的狀態(tài)變量、狀態(tài)空間、動作變量、動作空間和狀態(tài)轉(zhuǎn)移函數(shù)；

將所述聚合模型應(yīng)用到電力系統(tǒng)實(shí)時(shí)調(diào)控環(huán)境下，得到聚合負(fù)荷參與實(shí)時(shí)響應(yīng)的回報(bào)函數(shù)；

建立聚合負(fù)荷實(shí)時(shí)調(diào)控深度強(qiáng)化學(xué)習(xí)模型，根據(jù)所述聚合負(fù)荷的狀態(tài)變量、動作變量、狀態(tài)轉(zhuǎn)移函數(shù)和參與實(shí)時(shí)響應(yīng)的回報(bào)函數(shù)，對所述聚合負(fù)荷實(shí)時(shí)調(diào)控深度強(qiáng)化學(xué)習(xí)模型進(jìn)行訓(xùn)練，得到柔性負(fù)荷聚合的實(shí)時(shí)優(yōu)化調(diào)控決策模型；

將目標(biāo)聚合負(fù)荷的狀態(tài)變量輸入柔性負(fù)荷聚合的實(shí)時(shí)優(yōu)化調(diào)控決策模型，得到聚合負(fù)荷實(shí)時(shí)調(diào)控的最優(yōu)策略。

可選地，所述單一柔性負(fù)荷動態(tài)模型包括負(fù)荷溫控動態(tài)函數(shù)、用戶不適度函數(shù)和回報(bào)函數(shù)。

可選地，所述異構(gòu)柔性負(fù)荷聚合模型為：

s(t+1)＝F_transition(s(t),a(t),w(t))

其中，s(t+1)為t+1時(shí)刻聚合負(fù)荷的狀態(tài)變量，s(t)為t時(shí)刻聚合負(fù)荷的狀態(tài)變量，a(t)為t時(shí)刻聚合負(fù)荷的動作變量，w(t)為t時(shí)刻的環(huán)境變量，R_agg(t)為聚合負(fù)荷在t時(shí)刻的回報(bào)函數(shù)，r_DR(t)為t時(shí)刻聚合負(fù)荷參與需求響應(yīng)的總收益，為總用戶不適度，λ(t)(P_agg(t)-P_base(t))Δt為電費(fèi)支出減少量。

可選地，所述聚合負(fù)荷實(shí)時(shí)調(diào)控深度強(qiáng)化學(xué)習(xí)模型采用深度Q值網(wǎng)絡(luò)算法訓(xùn)練。

可選地，所述深度強(qiáng)化學(xué)習(xí)模型的損失函數(shù)為：