[發明專利]一種電熱耦合系統調度方法、裝置、電子設備及其存儲介質

在審

• 申請號: 202110989053.0
• 申請日: 2021-08-26
• 公開（公告）號: CN113779871A
• 公開（公告）日: 2021-12-10
• 發明（設計）人: 孫宏斌;王宣元;席嫣娜;郭慶來;寧卜;張浩;張宏宇;王彬;劉慶時;趙昊天;劉蓁;韋凌霄;潘昭光
• 申請（專利權）人: 清華大學;國網冀北電力有限公司;國網北京市電力公司
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N3/04;G06N3/08;G06N20/00;G06Q10/06;G06Q50/06;G06F113/14;G06F119/08
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 吳婷

1.一種電熱耦合系統調度方法，其特征在于，包括：

步驟1，構建一個用于電熱耦合系統調度的強化學習網絡；

步驟2，實時采集電熱耦合系統中的量測數據，對所述強化學習網絡進行訓練，更新強化學習網絡中的參數；

步驟3，利用訓練好的強化學習網絡，根據實時采集的量測數據輸出動作，對電熱耦合系統進行控制。

2.根據權利要求1所述的電熱耦合系統調度方法，其特征在于，所述的用于電熱耦合系統調度的強化學習網絡，包括生成器μ和評價器Q，其中：

(a)生成器μ的表達式為a_t＝μ(o_t|θ^μ)，其中，θ^μ表示生成器μ的模型參數，生成器的輸入為電熱耦合系統經過t個時間步后的量測信息o_t：

其中，為管道進行空間差分后存在溫度量測的微元的溫度構成的向量，為T_pipe的真子集，T_pipe代表管道進行空間差分后各管道微元的溫度構成的向量，T_in代表所有建筑物室內溫度構成的向量，T_a代表室外建筑物環境溫度，c代表電價，h代表熱源輸出功率，t代表控制過程中的離散時間變量，Π代表附加記憶參數，(·)_t代表在t控制時刻的取值；

生成器的輸出為電熱耦合系統在量測信息o_t下需要執行的控制策略的動作向量：

a_t＝(m,T_s,a_m)

其中，m為所有管道質量流量構成的列向量，T_s為熱源供熱溫度，a_m為決定是否將當前觀測和動作存儲至記憶體中的變量；

生成器μ的具體結構如下：

生成器μ的輸入層包含N_o個神經元，其中N_o為量測向量o_t的維度；

生成器μ的隱含層包含b₁個隱含層，隱含層的個數b₁、每一層隱含層的神經元數目、激活函數根據人工經驗或計算精度要求反復試探來確定，隱含層的激活函數為ReLU；

生成器μ的輸出層包含N_a個神經元，其中N_a為動作向量a_t的維度，輸出層的激活函數為tanh激活函數；

(b)評價器Q的表達式為其中θ^Q為評價器Q的模型參數，評價器Q的輸入為o_t和a_t，評價器Q的輸出為在量測值為o_t時執行動作a_t的評價值

評價器Q的結構如下：

評價器Q的輸入層包含(N_o+N_a)個神經元；

評價器Q的隱含層包含b₂個隱含層，隱含層的個數b₂、每一層隱含層的神經元數目、激活函數根據人工經驗或計算精度要求反復試探來確定，隱含層的激活函數為ReLU；

評價器Q的輸出層包含1個神經元，輸出層的激活函數為線性激活函數。