[發(fā)明專利]基于深度Q值網(wǎng)絡(luò)強(qiáng)化學(xué)習(xí)的微電網(wǎng)儲(chǔ)能調(diào)度方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201811099843.6
• 申請(qǐng)日: 2018-09-20
• 公開（公告）號(hào): CN109347149B
• 公開（公告）日: 2022-04-22
• 發(fā)明（設(shè)計(jì)）人: 張江南;崔承剛;吳坡;賀勇;趙延平;劉海寶;唐耀華;李冰;郝濤
• 申請(qǐng)（專利權(quán)）人: 國(guó)網(wǎng)河南省電力公司電力科學(xué)研究院;上海電力學(xué)院;國(guó)網(wǎng)河南省電力公司;國(guó)家電網(wǎng)有限公司
• 主分類號(hào): H02J3/46
• 分類號(hào): H02J3/46;H02J3/32;G06Q50/06;G06Q10/06
• 代理公司: 蘇州知途知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 32299
• 代理人: 張錦波

1.一種基于深度Q值網(wǎng)絡(luò)強(qiáng)化學(xué)習(xí)的微電網(wǎng)儲(chǔ)能調(diào)度方法，其特征在于，包括：

建立步驟，建立微電網(wǎng)模型；

訓(xùn)練步驟，根據(jù)微電網(wǎng)模型，利用深度Q值網(wǎng)絡(luò)強(qiáng)化學(xué)習(xí)算法進(jìn)行人工智能訓(xùn)練；

計(jì)算步驟，根據(jù)錄入的參數(shù)特征值，計(jì)算得到微電網(wǎng)儲(chǔ)能調(diào)度的電池運(yùn)行策略，所述微電網(wǎng)模型設(shè)置有順序連接的電池組儲(chǔ)能系統(tǒng)、光伏發(fā)電系統(tǒng)、電力負(fù)荷和控制裝置，且電力負(fù)荷和控制裝置通過(guò)公共連接點(diǎn)接入配電網(wǎng)，所述深度Q值網(wǎng)絡(luò)的訓(xùn)練模型以元組(s_t,a_t,r_t+1(a_t),s_t+1)為樣本進(jìn)行訓(xùn)練，其中s_t為當(dāng)前狀態(tài)，a_t為當(dāng)前狀態(tài)下執(zhí)行的動(dòng)作，r_t+1(a_t)為在執(zhí)行動(dòng)作后獲得的即時(shí)獎(jiǎng)勵(lì)，s_t+1為下一個(gè)狀態(tài)，t為時(shí)刻；

所述訓(xùn)練步驟，具體為：

在深度Q值網(wǎng)絡(luò)中引入卷積神經(jīng)網(wǎng)絡(luò)；

設(shè)置深度Q值網(wǎng)絡(luò)來(lái)計(jì)算目標(biāo)Q值；

使用競(jìng)爭(zhēng)Q值網(wǎng)絡(luò)模型將目標(biāo)狀態(tài)-動(dòng)作Q值函數(shù)Q(s_t,a_t)拆分成V(s_t)和A(a_t)，即Q(s_t,a_t)＝V(s_t)+A(a_t)；其中，V(s_t)為靜態(tài)的環(huán)境狀態(tài)本身的評(píng)估價(jià)值，A(a_t)為動(dòng)作帶來(lái)的額外價(jià)值A(chǔ)(a_t)。

2.根據(jù)權(quán)利要求1所述的基于深度Q值網(wǎng)絡(luò)強(qiáng)化學(xué)習(xí)的微電網(wǎng)儲(chǔ)能調(diào)度方法，其特征在于，所述訓(xùn)練步驟中，所設(shè)置的深度Q值網(wǎng)絡(luò)有兩個(gè)，一個(gè)用于制造學(xué)習(xí)目標(biāo)，一個(gè)用于進(jìn)行實(shí)際訓(xùn)練。

3.根據(jù)權(quán)利要求2所述的基于深度Q值網(wǎng)絡(luò)強(qiáng)化學(xué)習(xí)的微電網(wǎng)儲(chǔ)能調(diào)度方法，其特征在于，以(s₁,s₂,…,s_t,s_t+1,…)為狀態(tài)空間S，則S＝S_B×S_pv,load×S_T，其中，S_B為可控的電池部分，s_pv,load為不可控的光伏和負(fù)荷部分，S_T為日期和時(shí)間序列；

其中，E_min≤E≤E_max；E_max為完全充電狀態(tài)的電池容量，E_min為最低充電狀態(tài)的電池容量；

其中，PV為光伏發(fā)電量，load為負(fù)荷消費(fèi)量。

4.根據(jù)權(quán)利要求3所述的基于深度Q值網(wǎng)絡(luò)強(qiáng)化學(xué)習(xí)的微電網(wǎng)儲(chǔ)能調(diào)度方法，其特征在于，每個(gè)時(shí)間步長(zhǎng)上，強(qiáng)化學(xué)習(xí)智能體所采取的離散化動(dòng)作空間A為(電池充電動(dòng)作，電池放電動(dòng)作，電池保持閑置)；

將動(dòng)作空間劃分成3個(gè)數(shù)值，即a∈[0,1,2]，其中a＝0表示電池充電動(dòng)作，a＝2表示電池保持閑置，a＝1表示電池放電動(dòng)作。