[發(fā)明專利]基于雙層強化學習的多能園區(qū)調度方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010108574.6
• 申請日: 2020-02-21
• 公開（公告）號: CN111181201A
• 公開（公告）日: 2020-05-19
• 發(fā)明（設計）人: 聶歡歡;吳涵;張明龍;劉冰倩;王健;陳穎;張家琦
• 申請（專利權）人: 清華大學;國網福建省電力有限公司電力科學研究院
• 主分類號: H02J3/46
• 分類號: H02J3/46;H02J3/32;H02J3/38
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 楊明月

1.一種基于雙層強化學習的多能園區(qū)調度方法，其特征在于，包括：

S1：獲取在不確定性有儲能場景下的綜合能源系統(tǒng)中的調度可控對象，所述調度可控對象包括源側單元、負荷側單元、能量轉化單元與存儲單元；

S2：構建雙層優(yōu)化決策模型，所述雙層優(yōu)化決策模型包括上層強化學習子模型和下層混合整數(shù)線性規(guī)劃子模型；

S3：所述上層強化學習子模型獲取所述存儲單元在當前時刻的狀態(tài)變量信息下的動作變量信息，并將所述動作變量信息和所述狀態(tài)變量信息傳輸至所述下層混合整數(shù)線性規(guī)劃子模型；

S4：所述下層混合整數(shù)線性規(guī)劃子模型獲取所述源側單元、所述負荷側單元和所述能量轉化單元對應的獎勵變量和所述存儲單元在下一時刻的狀態(tài)變量信息，并反饋至所述上層強化學習子模型；

S5：所述上層強化學習子模型對所述獎勵變量進行學習后，迭代執(zhí)行上述步驟S3-S4，直至調度結束。

2.根據(jù)權利要求1所述的基于雙層強化學習的多能園區(qū)調度方法，其特征在于，所述不確定性有儲能場景下的綜合能源系統(tǒng)為熱電聯(lián)儲系統(tǒng)。

3.根據(jù)權利要求2所述的基于雙層強化學習的多能園區(qū)調度方法，其特征在于，所述熱電聯(lián)儲系統(tǒng)中的所述源側單元包括燃氣單元、電網單元和新能源單元；所述負荷側單元包括電負荷和熱負荷；所述能量轉化單元包括微燃機、熱交換器和電鍋爐；所述存儲單元為電池。

4.根據(jù)權利要求3所述的基于雙層強化學習的多能園區(qū)調度方法，其特征在于，所述上層強化學習子模型的當前時刻的狀態(tài)變量包括：

s_t＝(c_e,c_g,p_l,p_h,p_re,SOC)，

其中，c_e為實時電價，c_g為實時燃氣價格，p_l為實時電負荷，p_h為實時熱負荷，p_re為新能源可提供出力，SOC為電池負荷狀態(tài)。

5.根據(jù)權利要求4所述的基于雙層強化學習的多能園區(qū)調度方法，其特征在于，所述上層強化學習子模型的獎勵函數(shù)為：

r_t＝-C(t)-λ(1-l_{{a≤SOC≤b}})

其中，r_t為上層強化學習子模型的獎勵函數(shù)，C(t)為系統(tǒng)在t時刻的成本，λ為懲罰系數(shù)，表示SOC未處于a、b之間時的獎勵懲罰值；a、b為SOC的變化范圍約束且0≤ab≤1，l_{{a≤SOC≤b}}為指示函數(shù)，當SOC未處于a、b之間時其值為0，否則其值為1。

6.根據(jù)權利要求4所述的基于雙層強化學習的多能園區(qū)調度方法，其特征在于，所述上層強化學習子模型獲取所述存儲單元在當前時刻的狀態(tài)變量信息下的動作變量信息為：

其中，p_b為電池輸出功率，為電池額定功率。

7.根據(jù)權利要求3所述的基于雙層強化學習的多能園區(qū)調度方法，其特征在于，所述下層混合整數(shù)線性規(guī)劃子模型以所述在不確定性有儲能場景下的綜合能源系統(tǒng)的運行總成本和能源未消納懲罰最小為目標函數(shù)。

8.根據(jù)權利要求7所述的基于雙層強化學習的多能園區(qū)調度方法，其特征在于，所述目標函數(shù)定義為：

C(t)＝c_ep_e+c_gV_g+c_re(p_re-p_re,u)，

其中，T為優(yōu)化時間總步數(shù)，為當前優(yōu)化所在步，c_e為實時電價，p_e為從電網所獲取電量，c_g為實時燃氣價格，V_g為燃氣消耗體積，c_re為新能源未消納懲罰系數(shù)，p_re為新能源可提供出力，p_re,u為新能源實際消納出力。