[發(fā)明專利]一種基于時(shí)序差分法的風(fēng)光火儲(chǔ)系統(tǒng)優(yōu)化配置方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202111473491.8
• 申請(qǐng)日: 2021-11-29
• 公開（公告）號(hào): CN114331025A
• 公開（公告）日: 2022-04-12
• 發(fā)明（設(shè)計(jì)）人: 汪琳;朱勇;王建星;劉明義;曹傳釗;劉大為;徐若晨;曹曦;裴杰;李昊
• 申請(qǐng)（專利權(quán)）人: 中國(guó)華能集團(tuán)清潔能源技術(shù)研究院有限公司;華能集團(tuán)技術(shù)創(chuàng)新中心有限公司;華能瀾滄江水電股份有限公司
• 主分類號(hào): G06Q10/06
• 分類號(hào): G06Q10/06;G06Q40/06;G06Q50/06;G06K9/62
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 黃垚琳

1.一種基于時(shí)序差分法的風(fēng)光火儲(chǔ)系統(tǒng)優(yōu)化配置方法，其特征在于，所述方法包括：

獲取歷史時(shí)段內(nèi)各時(shí)刻的電網(wǎng)需求發(fā)電量、風(fēng)光火儲(chǔ)系統(tǒng)中風(fēng)電機(jī)組的發(fā)電量、光伏機(jī)組的發(fā)電量、預(yù)設(shè)約束條件和經(jīng)濟(jì)性參數(shù)；

根據(jù)歷史時(shí)段內(nèi)各時(shí)刻的電網(wǎng)需求發(fā)電量、風(fēng)光火儲(chǔ)系統(tǒng)中風(fēng)電機(jī)組的發(fā)電量、光伏機(jī)組的發(fā)電量確定歷史時(shí)段內(nèi)各時(shí)刻風(fēng)光火儲(chǔ)系統(tǒng)中火電機(jī)組和儲(chǔ)能設(shè)備的總需求發(fā)電量；

基于火電機(jī)組的運(yùn)行狀態(tài)和儲(chǔ)能設(shè)備的可用電量，將風(fēng)光火儲(chǔ)系統(tǒng)的狀態(tài)劃分成不同的狀態(tài)類型，并隨機(jī)初始化各狀態(tài)之間相互轉(zhuǎn)移的概率值及各個(gè)狀態(tài)類型對(duì)應(yīng)的策略；

基于SARSA算法建立強(qiáng)化學(xué)習(xí)模型，將歷史時(shí)段內(nèi)各時(shí)刻風(fēng)光火儲(chǔ)系統(tǒng)中火電機(jī)組和儲(chǔ)能設(shè)備的的總需求發(fā)電量作為采樣序列，對(duì)模型進(jìn)行訓(xùn)練，得到最優(yōu)策略；

根據(jù)最優(yōu)策略計(jì)算風(fēng)光火儲(chǔ)系統(tǒng)在給定時(shí)段內(nèi)各時(shí)刻的狀態(tài)及所述狀態(tài)對(duì)應(yīng)的風(fēng)光火儲(chǔ)系統(tǒng)的運(yùn)行成本，從而計(jì)算出風(fēng)光火儲(chǔ)系統(tǒng)在給定時(shí)段內(nèi)的累積投資運(yùn)行成本；

修改預(yù)設(shè)約束條件，重新計(jì)算各個(gè)狀態(tài)的最優(yōu)策略及該預(yù)設(shè)約束條件下的所述系統(tǒng)在給定時(shí)段內(nèi)的累積投資運(yùn)行成本，從不同約束下系統(tǒng)的累積投資運(yùn)行成本中篩選最小值，并利用所述最小值對(duì)應(yīng)的預(yù)設(shè)約束條件對(duì)風(fēng)光火儲(chǔ)系統(tǒng)進(jìn)行優(yōu)化配置；

其中，所述預(yù)設(shè)約束條件包括：各發(fā)電和儲(chǔ)能設(shè)備的容量約束、狀態(tài)約束和風(fēng)光火儲(chǔ)系統(tǒng)的初始狀態(tài)。

2.如權(quán)利要求1所述的方法，其特征在于，所述基于火電機(jī)組的運(yùn)行狀態(tài)和儲(chǔ)能設(shè)備的可用電量，將風(fēng)光火儲(chǔ)系統(tǒng)的狀態(tài)劃分成不同的狀態(tài)類型，包括：

將風(fēng)光火儲(chǔ)系統(tǒng)中火電機(jī)組運(yùn)行且儲(chǔ)能設(shè)備可用電量大于零的狀態(tài)劃分為為第一狀態(tài)；

將風(fēng)光火儲(chǔ)系統(tǒng)中火電機(jī)組運(yùn)行且儲(chǔ)能設(shè)備可用電量等于零的狀態(tài)劃分為第二狀態(tài)；

將風(fēng)光火儲(chǔ)系統(tǒng)中火電機(jī)組停運(yùn)且儲(chǔ)能設(shè)備可用電量大于零的狀態(tài)劃分為第三狀態(tài)；

將風(fēng)光火儲(chǔ)系統(tǒng)中火電機(jī)組停運(yùn)且儲(chǔ)能設(shè)備可用電量等于零的狀態(tài)劃分為第四狀態(tài)。

3.如權(quán)利要求1所述的方法，其特征在于，所述基于SARSA算法建立強(qiáng)化學(xué)習(xí)模型，將歷史時(shí)段內(nèi)各時(shí)刻的總電量需求作為采樣序列，對(duì)模型進(jìn)行訓(xùn)練，得到各狀態(tài)下的最優(yōu)策略，包括：

根據(jù)預(yù)設(shè)約束條件初始化強(qiáng)化學(xué)習(xí)模型中風(fēng)光火儲(chǔ)系統(tǒng)的初始狀態(tài)；

將該初始狀態(tài)和采樣序列中的第一個(gè)采樣值代入預(yù)先初始化的動(dòng)作選擇模型中，得到該初始狀態(tài)對(duì)應(yīng)的初始策略；

基于初始策略，確定初始狀態(tài)對(duì)應(yīng)的動(dòng)作及該動(dòng)作對(duì)應(yīng)的下一個(gè)狀態(tài)；

基于采樣值及初始狀態(tài)對(duì)應(yīng)的動(dòng)作計(jì)算該初始策略下的狀態(tài)-動(dòng)作對(duì)的獎(jiǎng)賞值；

基于下一個(gè)狀態(tài)的初始策略，確定該狀態(tài)對(duì)應(yīng)的下一個(gè)動(dòng)作；

基于初始狀態(tài)的狀態(tài)-動(dòng)作對(duì)的累積獎(jiǎng)賞函數(shù)、初始策略下的狀態(tài)-動(dòng)作對(duì)的獎(jiǎng)賞值、下一個(gè)狀態(tài)的狀態(tài)-動(dòng)作對(duì)的累積獎(jiǎng)賞函數(shù)更新初始狀態(tài)的狀態(tài)-動(dòng)作對(duì)的累積獎(jiǎng)賞函數(shù)及策略；

將前面所述的下一個(gè)狀態(tài)及采樣序列的下一個(gè)值代入強(qiáng)化學(xué)習(xí)模型，重復(fù)上述全部步驟，直至遍歷完采樣序列中的所有值，完成模型的訓(xùn)練。

訓(xùn)練完成的模型中各個(gè)狀態(tài)對(duì)應(yīng)的策略即為最優(yōu)策略。

4.如權(quán)利要求3所述的方法，其特征在于，所述動(dòng)作選擇模型，用于基于當(dāng)前時(shí)刻風(fēng)光火儲(chǔ)系統(tǒng)的狀態(tài)和下一時(shí)刻總需求發(fā)電量確定的當(dāng)前時(shí)刻火電機(jī)組的運(yùn)行狀態(tài)轉(zhuǎn)入下一時(shí)刻火電機(jī)組的運(yùn)行狀態(tài)對(duì)應(yīng)的動(dòng)作；

其中，總需求發(fā)電量包括：需求發(fā)電量為負(fù)、需求發(fā)電量為正且小于儲(chǔ)能設(shè)備當(dāng)前容量、需求發(fā)電量大于儲(chǔ)能設(shè)備當(dāng)前容量且小于儲(chǔ)能設(shè)備當(dāng)前容量與火電機(jī)組的最大負(fù)荷之和、需求發(fā)電量大于儲(chǔ)能設(shè)備當(dāng)前容量與火電機(jī)組的最大負(fù)荷之和；

火電機(jī)組的運(yùn)行狀態(tài)包括：停運(yùn)和運(yùn)行。

5.如權(quán)利要求3所述的方法，其特征在于，所述狀態(tài)-動(dòng)作對(duì)的獎(jiǎng)賞值與風(fēng)光火儲(chǔ)系統(tǒng)運(yùn)行成本成反比；

其中，風(fēng)光火儲(chǔ)系統(tǒng)運(yùn)行成本主要包括火電機(jī)組的燃煤成本、火電機(jī)組的啟停費(fèi)用、所述系統(tǒng)中各設(shè)備的維護(hù)成本、棄電懲罰成本、缺電懲罰成本以及不滿足設(shè)備正常使用要求時(shí)的懲罰成本等。