[發(fā)明專(zhuān)利]用于風(fēng)電計(jì)劃功率跟蹤的儲(chǔ)能設(shè)備控制策略制定方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710470529.3
• 申請(qǐng)日: 2017-06-20
• 公開(kāi)（公告）號(hào): CN107026462B
• 公開(kāi)（公告）日: 2018-05-04
• 發(fā)明（設(shè)計(jì)）人: 李澤
• 申請(qǐng)（專(zhuān)利權(quán)）人: 華北電力大學(xué)(保定)
• 主分類(lèi)號(hào): H02J3/28
• 分類(lèi)號(hào): H02J3/28;H02J3/38;H02J3/24
• 代理公司: 石家莊冀科專(zhuān)利商標(biāo)事務(wù)所有限公司13108
• 代理人: 李羨民,高錫明

1.一種用于風(fēng)電計(jì)劃功率跟蹤的儲(chǔ)能設(shè)備控制策略制定方法，其特征是，所述方法在電力市場(chǎng)背景下，基于強(qiáng)化學(xué)習(xí)理論，采用SARSA學(xué)習(xí)方法制定風(fēng)儲(chǔ)混合系統(tǒng)輸出功率控制策略，具體步驟如下：

a.輸入基礎(chǔ)數(shù)據(jù)，包括：混合系統(tǒng)與電網(wǎng)交易的各類(lèi)費(fèi)用參數(shù)；混合系統(tǒng)申報(bào)的計(jì)劃功率、混合系統(tǒng)申報(bào)的備用容量、風(fēng)電實(shí)際輸出功率；儲(chǔ)能設(shè)備功率限值、容量限值、充放電效率、免懲罰時(shí)段數(shù)；SARSA學(xué)習(xí)算法參數(shù)；其中，混合系統(tǒng)與電網(wǎng)交易的各類(lèi)費(fèi)用參數(shù)包括備用電量?jī)r(jià)格、備用懲罰系數(shù)；SARSA學(xué)習(xí)算法參數(shù)包括學(xué)習(xí)因子、折扣因子、學(xué)習(xí)步數(shù)和懲罰系數(shù)；

b.初始化Q值函數(shù)；

c.設(shè)置時(shí)段數(shù)t＝1、設(shè)置已實(shí)施的動(dòng)作選擇次數(shù)N_n＝0；

d.根據(jù)儲(chǔ)能設(shè)備t時(shí)段初始時(shí)刻存儲(chǔ)電量E_s,t、風(fēng)電實(shí)際功率與風(fēng)儲(chǔ)混合系統(tǒng)計(jì)劃值之差ΔP_h,t、儲(chǔ)能設(shè)備充放電狀態(tài)K_s,t、混合系統(tǒng)申報(bào)的備用容量確定t時(shí)段風(fēng)儲(chǔ)混合系統(tǒng)所處的狀態(tài)s_t；

e.根據(jù)當(dāng)前狀態(tài)s_t、值函數(shù)Q^t(s,a)選擇控制動(dòng)作a_t，具體步驟如下；

①在[0,1]區(qū)間內(nèi)取隨機(jī)數(shù)T_R；

②計(jì)算概率閥值T_H：

式中：N_n為已經(jīng)實(shí)施動(dòng)作選擇的次數(shù)；N_T為訓(xùn)練全過(guò)程動(dòng)作選擇的總次數(shù)；

③進(jìn)行動(dòng)作選擇：若T_R＞T_H，隨機(jī)從可行動(dòng)作集A中選擇動(dòng)作a_t；若T_R≤T_H，選擇貪婪策略作為本時(shí)段動(dòng)作，即：

f.根據(jù)動(dòng)作a_t與混合系統(tǒng)功率偏差控制目標(biāo)值的一一對(duì)應(yīng)關(guān)系，得到t時(shí)段混合系統(tǒng)輸出功率偏差控制的目標(biāo)值；

g.根據(jù)混合系統(tǒng)輸出功率偏差控制目標(biāo)值計(jì)算儲(chǔ)能設(shè)備功率控制需求值

h.計(jì)算儲(chǔ)能設(shè)備在t時(shí)段的實(shí)際充放電功率

若t時(shí)段儲(chǔ)能設(shè)備的控制設(shè)定值需校驗(yàn)儲(chǔ)能設(shè)備發(fā)出功率后，是否超出儲(chǔ)能設(shè)備容量下限，若超出則需修正：

式中：E_s,t為t時(shí)段初始時(shí)刻儲(chǔ)能設(shè)備存儲(chǔ)電量；η_d為儲(chǔ)能設(shè)備的放電效率；Δt為時(shí)段持續(xù)時(shí)間；E_smin為儲(chǔ)能設(shè)備容量下限；為求取儲(chǔ)能實(shí)際輸出功率時(shí)暫存的臨時(shí)值；

若需校驗(yàn)儲(chǔ)能設(shè)備吸收功率后，是否超出儲(chǔ)能設(shè)備容量上限，若超出則需修正：

式中：η_c為儲(chǔ)能設(shè)備的充電效率；E_smax為儲(chǔ)能設(shè)備容量上限；

此外，儲(chǔ)能設(shè)備實(shí)際輸出功率還應(yīng)滿(mǎn)足有功功率上限約束、下限約束，若超出有功功率上限或下限，則需修正：

式中：P_smax為儲(chǔ)能設(shè)備有功功率上限；P_smin為儲(chǔ)能設(shè)備有功功率下限；為儲(chǔ)能設(shè)備實(shí)際輸出功率；

i.計(jì)算t時(shí)段混合系統(tǒng)實(shí)際輸出功率偏差值

式中：為t時(shí)段風(fēng)電實(shí)際輸出功率；為混合系統(tǒng)向電網(wǎng)申報(bào)t時(shí)段計(jì)劃功率值；

j.計(jì)算t時(shí)段的立即回報(bào)值r_t+1(s_t,a_t)：

r_t+1(s_t,a_t)＝C_r(t)+C_p(t)+C_a(t)+C_c(t)

C_r(t)為備用電量費(fèi)用，C_p(t)為實(shí)際使用備用超出申報(bào)備用時(shí)產(chǎn)生的懲罰費(fèi)用，計(jì)算公式分別為：

式中：λ_r,t為t時(shí)段的備用電量?jī)r(jià)格；λ_p為混合系統(tǒng)實(shí)際使用備用超出申報(bào)備用范圍時(shí)，電網(wǎng)對(duì)混合系統(tǒng)的懲罰費(fèi)用系數(shù)；R_h,t為混合系統(tǒng)申報(bào)的t時(shí)段備用容量；

C_a(t)為t時(shí)段混合系統(tǒng)實(shí)際控制效果達(dá)不到所設(shè)定的控制目標(biāo)值設(shè)定的懲罰費(fèi)用，計(jì)算公式為：

式中：k_c為儲(chǔ)能設(shè)備功率需求值與實(shí)際值不符對(duì)應(yīng)的懲罰系數(shù)；

C_c(t)為t時(shí)段儲(chǔ)能設(shè)備充放狀態(tài)轉(zhuǎn)變對(duì)應(yīng)的懲罰：

式中：k_k為頻繁充放電對(duì)應(yīng)的懲罰系數(shù)；K_s,t為儲(chǔ)能連續(xù)充、放電持續(xù)時(shí)段數(shù)，正數(shù)表示已連續(xù)充電時(shí)段數(shù)，負(fù)數(shù)表示已連續(xù)放電時(shí)段數(shù)；K_smax為免懲罰時(shí)段數(shù)，當(dāng)儲(chǔ)能連續(xù)充電或放電K_smax個(gè)時(shí)段后，改變充電、放電狀態(tài)不會(huì)受到懲罰；

k.根據(jù)K_s,t和t時(shí)段的充放電行為更新儲(chǔ)能設(shè)備t+1時(shí)段充放電狀態(tài)K_s,t+1：

l.識(shí)別t+1時(shí)段風(fēng)儲(chǔ)混合系統(tǒng)所處的狀態(tài)s_t+1，根據(jù)動(dòng)作選擇策略確定t+1時(shí)段風(fēng)儲(chǔ)混合系統(tǒng)控制動(dòng)作a_t+1；

m.對(duì)Q值函數(shù)進(jìn)行修正：

Q^t+1(s_t,a_t)＝Q^t(s_t,a_t)+α[r_t+1(s_t,a_t)+γQ^t(s_t+1,a_t+1)-Q^t(s_t,a_t)]

式中：Q^t(s_t,a_t)為經(jīng)過(guò)t-1次修正后的最優(yōu)動(dòng)作值函數(shù)；α為學(xué)習(xí)因子；γ為折扣因子；

n.若達(dá)到規(guī)定的學(xué)習(xí)步數(shù)N_T，訓(xùn)練結(jié)束，按照Q值函數(shù)執(zhí)行貪婪策略即控制策略；若未達(dá)到規(guī)定的學(xué)習(xí)步數(shù)，t＝t+1、N_n＝N_n+1，轉(zhuǎn)至步驟d。