[發明專利]一種電熱耦合系統調度方法、裝置、電子設備及其存儲介質

在審

• 申請號: 202110989053.0
• 申請日: 2021-08-26
• 公開（公告）號: CN113779871A
• 公開（公告）日: 2021-12-10
• 發明（設計）人: 孫宏斌;王宣元;席嫣娜;郭慶來;寧卜;張浩;張宏宇;王彬;劉慶時;趙昊天;劉蓁;韋凌霄;潘昭光
• 申請（專利權）人: 清華大學;國網冀北電力有限公司;國網北京市電力公司
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N3/04;G06N3/08;G06N20/00;G06Q10/06;G06Q50/06;G06F113/14;G06F119/08
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 吳婷

本申請屬于綜合能源系統運行控制技術領域，具體而言，涉及一種電熱耦合系統調度方法、裝置、電子設備及其存儲介質。本方法首先構建一個用于電熱耦合系統調度的強化學習網絡；實時采集電熱耦合系統中的量測數據，根據量測數據及電熱耦合系統對控制信號的反應情況，對所述強化學習網絡進行訓練，更新強化學習網絡中的參數；利用訓練好的強化學習網絡，根據實時采集的量測數據輸出動作，對電熱耦合系統進行控制?？朔鹘y基于模型的優化方法和傳統強化學習算法的不足之處，基于附加記憶的強化學習，不依賴于建筑物的精確模型，且可處理電熱耦合系統中熱傳遞大時延帶來的難以學習的問題，最大限度挖掘負荷側的靈活性，適于在線應用。

技術領域

本申請屬于綜合能源系統運行控制技術領域，具體而言，涉及一種電熱耦合系統調度方法、裝置、電子設備及其存儲介質。

技術背景

為了提高多種能源的利用效率、充分利用各種能源的靈活性，減少碳排放量并提高新能源的滲透率，能源互聯網及綜合能源系統的概念應運而生。以電鍋爐、熱電聯產機組為熱源的供熱系統是最常見的電熱耦合系統。在這種供熱系統中，熱負荷多為建筑負荷，具有較大的熱慣性。若能在電熱聯合調度時考慮建筑物的熱慣性，則可降低總成本，為電力系統提供靈活性，減少新能源棄電。傳統電熱系統調度基于模型的優化，需要精確的模型。然而，建筑物熱特性復雜，受很多因素影響，難以得到其精確模型。故傳統的基于模型的優化可能導致建筑物溫度不能達到供暖要求、難以實施且建模成本高等問題。

近年來，強化學習作為一種無模型或弱模型的控制技術，已經廣泛應用到包括電力系統的各個領域的控制問題中。但強化學習基于智能體與環境的實時交互，通過觀測智能體動作與系統狀態之間的關系進行學習。但在供熱系統中，由于在管道及熱傳遞過程中存在很大的時延，使智能體的動作在很久以后才能影響到系統的狀態，傳統的強化學習算法已不能適用。

發明內容

本申請的目的是旨在解決已有技術中存在的問題，基于本發明人對以下問題和事實的認識和理解，近年來，強化學習作為一種無模型或弱模型的控制技術，已經廣泛應用到包括電力系統的各個領域的控制問題中，例如強化學習基于強化學習網絡與環境的實時交互，通過觀測智能體動作與系統狀態之間的關系進行學習。但在供熱系統中，由于在管道及熱傳遞過程中存在很大的時延，使強化學習網絡的動作在很久以后才能影響到系統的狀態，傳統的強化學習算法已不能適用。

有鑒于此，本公開提出了電熱耦合系統調度方法、裝置、電子設備及其存儲介質，以解決相關技術中的技術問題。

根據本公開的第一方面，提出電熱耦合系統調度方法，包括：

構建一個用于電熱耦合系統調度的強化學習網絡；

實時采集電熱耦合系統中的量測數據，對所述強化學習網絡進行訓練，更新強化學習網絡中的參數；

利用訓練好的強化學習網絡，根據實時采集的量測數據輸出動作，對電熱耦合系統進行控制。

可選地，所述的用于電熱耦合系統調度的強化學習網絡，包括生成器μ和評價器Q，其中：

所述生成器μ的表達式為a_t＝μ(o_t|θ^μ)，其中，θ^μ表示生成器μ的模型參數，生成器的輸入為電熱耦合系統經過t個時間步后的量測信息o_t：

其中，為管道進行空間差分后存在溫度量測的微元的溫度構成的向量，為T_pipe的真子集，T_pipe代表管道進行空間差分后各管道微元的溫度構成的向量，T_in代表所有建筑物室內溫度構成的向量，T_a代表室外建筑物環境溫度，c代表電價，h代表熱源輸出功率，t代表控制過程中的離散時間變量，Π代表附加記憶參數，(·)_t代表在t控制時刻的取值；