[發(fā)明專利]一種儲(chǔ)能參與調(diào)頻輔助服務(wù)優(yōu)化的控制方法及其系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110337216.7
• 申請(qǐng)日: 2021-03-29
• 公開(kāi)（公告）號(hào): CN113011101A
• 公開(kāi)（公告）日: 2021-06-22
• 發(fā)明（設(shè)計(jì)）人: 肖云鵬;白楊;劉思捷;蔡秋娜;關(guān)玉衡;張?zhí)m
• 申請(qǐng)（專利權(quán)）人: 廣東電網(wǎng)有限責(zé)任公司電力調(diào)度控制中心
• 主分類號(hào): G06F30/27
• 分類號(hào): G06F30/27;G06Q10/04;G06Q10/06;G06Q50/06;H02J3/00;G06N3/04;G06N3/08
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 陳旭紅;呂金金

1.一種儲(chǔ)能參與調(diào)頻輔助服務(wù)優(yōu)化的控制方法，其特征在于，包括：

獲得調(diào)頻市場(chǎng)的歷史調(diào)頻信號(hào)數(shù)據(jù)，其中，所述歷史調(diào)頻信號(hào)數(shù)據(jù)包括訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集；

構(gòu)建基于深度強(qiáng)化學(xué)習(xí)算法的儲(chǔ)能參與調(diào)頻輔助服務(wù)模型；

根據(jù)儲(chǔ)能的當(dāng)前狀態(tài)、當(dāng)前動(dòng)作、當(dāng)前動(dòng)作的即時(shí)收益、下個(gè)時(shí)刻的狀態(tài)以及調(diào)度周期結(jié)束標(biāo)志建立深度強(qiáng)化學(xué)習(xí)的經(jīng)驗(yàn)回放池；

根據(jù)所述訓(xùn)練數(shù)據(jù)集和所述經(jīng)驗(yàn)回放池訓(xùn)練所述儲(chǔ)能參與調(diào)頻輔助服務(wù)模型；

根據(jù)所述測(cè)試數(shù)據(jù)集檢測(cè)訓(xùn)練完畢的所述儲(chǔ)能參與調(diào)頻輔助服務(wù)模型；

根據(jù)所述儲(chǔ)能參與調(diào)頻輔助服務(wù)模型對(duì)所述儲(chǔ)能進(jìn)行優(yōu)化控制。

2.根據(jù)權(quán)利要求1所述的儲(chǔ)能參與調(diào)頻輔助服務(wù)優(yōu)化的控制方法，其特征在于，所述深度強(qiáng)化學(xué)習(xí)算法包括深度確定性策略梯度(DDPG)算法。

3.根據(jù)權(quán)利要求2所述的儲(chǔ)能參與調(diào)頻輔助服務(wù)優(yōu)化的控制方法，其特征在于，所述構(gòu)建基于深度強(qiáng)化學(xué)習(xí)的儲(chǔ)能參與調(diào)頻輔助服務(wù)模型，包括：

隨機(jī)初始化模型的權(quán)重參數(shù)θ^Q、權(quán)重參數(shù)θ^μ，并令θ^Q′＝θ^Q，θ^μ′＝θ^μ，以初始化Critic網(wǎng)絡(luò)Q(s_t,R_t|θ^Q)、Actor網(wǎng)絡(luò)μ(s_t|θ^μ)、目標(biāo)Critic網(wǎng)絡(luò)Q′(s_t,R_t|θ^Q′)和目標(biāo)Actor網(wǎng)絡(luò)μ′(s_t|θ^μ′)，其中θ^Q、θ^μ、θ^Q'、θ^μ'分別為每個(gè)神經(jīng)網(wǎng)絡(luò)的所述權(quán)重參數(shù)，s_t代表所述儲(chǔ)能的當(dāng)前狀態(tài)，Q代表狀態(tài)s_t下選擇動(dòng)作R_t的價(jià)值，μ代表狀態(tài)s_t下的最優(yōu)動(dòng)作。

4.根據(jù)權(quán)利要求1所述的儲(chǔ)能參與調(diào)頻輔助服務(wù)優(yōu)化的控制方法，其特征在于，所述經(jīng)驗(yàn)回放池包括五元組元素，所述五元組元素為其中，s_t代表所述儲(chǔ)能的當(dāng)前狀態(tài)、R_t代表所述儲(chǔ)能的當(dāng)前動(dòng)作、代表所述儲(chǔ)能當(dāng)前動(dòng)作的即時(shí)收益、s_t+1代表所述儲(chǔ)能的下個(gè)時(shí)刻的狀態(tài)、D_t代表調(diào)度周期結(jié)束標(biāo)志，當(dāng)D_t＝1代表一個(gè)調(diào)度周期的結(jié)束，反之則D_t＝0。

5.根據(jù)權(quán)利要求4所述的儲(chǔ)能參與調(diào)頻輔助服務(wù)優(yōu)化的控制方法，其特征在于，所述構(gòu)建基于深度強(qiáng)化學(xué)習(xí)的儲(chǔ)能參與調(diào)頻輔助服務(wù)模型之前，還包括：建立秒級(jí)時(shí)序上的儲(chǔ)能充放電模型和調(diào)頻績(jī)效收益模型。

6.根據(jù)權(quán)利要求5所述的儲(chǔ)能參與調(diào)頻輔助服務(wù)優(yōu)化的控制方法，其特征在于，根據(jù)所述調(diào)頻績(jī)效收益模型獲得所述儲(chǔ)能當(dāng)前動(dòng)作的即時(shí)收益根據(jù)所述秒級(jí)時(shí)序上的儲(chǔ)能充放電模型獲得所述儲(chǔ)能的下個(gè)時(shí)刻的狀態(tài)s_t+1。

7.根據(jù)權(quán)利要求3或4所述的儲(chǔ)能參與調(diào)頻輔助服務(wù)優(yōu)化的控制方法，其特征在于，根據(jù)Actor網(wǎng)絡(luò)選擇所述儲(chǔ)能的當(dāng)前動(dòng)作R_t，公式如下：

R_t＝μ(s_t|θ^μ)+N_t

其中，N_t是隨機(jī)變量。