[發(fā)明專利]基于分層強化學(xué)習的微電網(wǎng)分布式在線調(diào)度方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110447754.1
• 申請日: 2021-04-25
• 公開（公告）號: CN113098007B
• 公開（公告）日: 2022-04-08
• 發(fā)明（設(shè)計）人: 呂天光;李競;郝然;艾芊;孫樹敏;李勇
• 申請（專利權(quán)）人: 山東大學(xué)
• 主分類號: H02J3/00
• 分類號: H02J3/00;H02J3/46;H02J3/32
• 代理公司: 濟南圣達知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 董雪

1.基于分層強化學(xué)習的微電網(wǎng)分布式在線調(diào)度方法，其特征在于，包括：

獲取實時電價信息、每一個微電網(wǎng)的總交易電量、可調(diào)度機組在每一個微電網(wǎng)中的功率輸出、電池儲能系統(tǒng)的輸出功率以及充/放電效率數(shù)據(jù)；

以所有微電網(wǎng)整體運行成本最低為目標，建立多微網(wǎng)在線調(diào)度的目標函數(shù)；具體包括：

其中，和分別表示微電網(wǎng)集、在微電網(wǎng)j中的可調(diào)度機組集和時間集；表示微電網(wǎng)j的總交易電量，表示可調(diào)度機組i在微電網(wǎng)j中的功率輸出，表示電池儲能系統(tǒng)的輸出功率，SOC_j(t)表示電池儲能系統(tǒng)的荷電狀態(tài)；為電量交易結(jié)算，為可調(diào)度機組發(fā)電成本，表示電池儲能系統(tǒng)的充/放電總成本；

通過嵌入設(shè)定領(lǐng)域的知識將所述多微網(wǎng)在線調(diào)度的目標函數(shù)的局部約束轉(zhuǎn)換成規(guī)則，建立基于知識引導(dǎo)和數(shù)據(jù)驅(qū)動的多微網(wǎng)在線調(diào)度模型；具體包括：

其中，C_j定義為微電網(wǎng)j的目標，分別表示微電網(wǎng)j的總交易電量、可調(diào)度機組i在微電網(wǎng)j中的功率輸出和電池儲能系統(tǒng)的輸出功率；向量θ_j是KDM的學(xué)習參數(shù)集，f_j是學(xué)習參數(shù)和決策變量的假設(shè)空間，κ_j表示微電網(wǎng)j的知識規(guī)則集，||f_j,κ_j||_σ是知識約束算子，k_j表示微電網(wǎng)j中所有知識規(guī)則的閾值向量；SOC_j(t)表示電池儲能系統(tǒng)的荷電狀態(tài)；是知識規(guī)則集κ_j的一組超參數(shù)，表示每個規(guī)則中的數(shù)據(jù)置信度；

利用微電網(wǎng)的遷移分層強化學(xué)習方法對所述基于知識引導(dǎo)和數(shù)據(jù)驅(qū)動的多微網(wǎng)在線調(diào)度問題進行求解，得到能夠使得所有微電網(wǎng)整體運行成本最低的最優(yōu)調(diào)度策略。

2.如權(quán)利要求1所述基于分層強化學(xué)習的微電網(wǎng)分布式在線調(diào)度方法，其特征在于，將可調(diào)度機組的成本定義為功率輸出的二次函數(shù)。

3.如權(quán)利要求1所述基于分層強化學(xué)習的微電網(wǎng)分布式在線調(diào)度方法，其特征在于，電池儲能系統(tǒng)的總成本結(jié)合了充/放電功率當量值和退化成本。

4.如權(quán)利要求1所述基于分層強化學(xué)習的微電網(wǎng)分布式在線調(diào)度方法，其特征在于，所述分層強化學(xué)習方法包括：低層的動作策略和高層的動作策略；得到高層的動作策略具體包括：

在每個設(shè)定的時間間隔，環(huán)境提供一個局部觀測集；將設(shè)定為高層決策變量；

高層強化學(xué)習網(wǎng)絡(luò)的基本函數(shù)權(quán)值和獎勵被訓(xùn)練為高層決策變量來確定微電網(wǎng)j的總發(fā)電量；

每個微電網(wǎng)計算不同狀態(tài)不同動作下的Q值，并選擇Q值最大的高層決策變量作為局部觀測集的高層最佳動作；

將微電網(wǎng)j的總交易電量的知識規(guī)則根據(jù)功率平衡規(guī)則轉(zhuǎn)換為高層變量的規(guī)則，得到高層學(xué)習的最佳動作策略。

5.如權(quán)利要求4所述基于分層強化學(xué)習的微電網(wǎng)分布式在線調(diào)度方法，其特征在于，得到低層的動作策略具體包括：

每個微電網(wǎng)定義為低層決策變量集，每個微電網(wǎng)訓(xùn)練低層決策變量來確定電池儲能系統(tǒng)的發(fā)電量；

每個微電網(wǎng)計算狀態(tài)s_j下不同動作的Q值，并選擇Q值最大的電池儲能系統(tǒng)的輸出功率作為最佳動作；根據(jù)高層學(xué)習的最佳動作策略和所述最佳動作，確定低層學(xué)習的最佳動作策略。