[發明專利]一種基于離線強化學習的供熱控制方法及系統

有效

• 申請號: 202210067515.8
• 申請日: 2022-01-20
• 公開（公告）號: CN114484584B
• 公開（公告）日: 2022-11-11
• 發明（設計）人: 馬志軍;胡繼新;梁煒;何子峰;張康;成甜甜;曹玉璽
• 申請（專利權）人: 國電投峰和新能源科技（河北）有限公司;國家電投集團雄安能源有限公司
• 主分類號: G05B13/02
• 分類號: G05B13/02;F24D19/10;G06N20/00
• 代理公司: 北京中索知識產權代理有限公司 11640
• 代理人: 高海濤

本發明提供一種基于離線強化學習的供熱控制方法及系統，所述方法包括以下步驟：采集供熱數據，將供熱數據集輸入供熱模型；從供熱數據集中采樣條交互數據獲得四元組(s，a，r，s′)，以時間步長從t＝1到T步進行循環，訓練G_ω模型；將訓練后的G_ω模型部署至服務器，并通過定時任務，實施對一網和二網供水溫度進行預測，將預測結果下發至換熱站；并對G_ω模型的效果進行監控。本發明將先進的離線強化學習算法應用于集中供熱控制系統，在無需與真實環境交互的情況下充分發揮了強化學習算法的優勢，避免了與環境交互時的低效采樣和昂貴成本；充分利用了歷史交互數據，相較于現有技術在理論和實際上都大大提高了控制算法的性能。

技術領域

本發明涉及供熱系統控制技術領域，具體而言，涉及一種基于離線強化學習的供熱控制方法及系統。

背景技術

集中供熱系統的智能控制對我國居民生活質量的提升和城市建設的發展具有較大影響，是當前備受重視的技術。集中供熱系統主要由三部分組成：熱源、換熱站和用熱戶。當前集中供熱系統的熱源主要有熱電廠、區域鍋爐房和集中鍋爐房，熱源產生的蒸汽或熱水通過一次管網送到換熱站，換熱站再通過二次管網將一次管網的蒸汽或熱水的熱量傳至用熱戶終端。

以往多用一些傳統的優化控制方法進行集中供熱系統的控制，即通過物理機理構建模型驅動的算法進行調控，這類方法的缺點較為明顯，運行工況一旦發生變化，算法的調整能力非常有限，此時就需要重新建模。

隨著智能云技術和AI算法的快速發展，新型人工智能算法在集中供熱系統中的應用逐步深入，其優勢也逐步凸顯。其中，基于數據驅動的智能控制算法相較于傳統控制算法的優點在于魯棒性強，響應速度快等。目前基于數據驅動的智能控制算法主要有以下兩類：

1.監督學習：通過歷史數據端到端的訓練模型，模型性能十分依賴數據的質量以及數量，考慮到實際場景下數據的質量，泛化性能會比較差。

2.強化學習：需要與環境進行交互，，即給定一個環境的狀態（State），程序根據某種策略（Policy）選出一個對應的行為（Action），而執行這個Action后環境又會發生改變，即狀態會轉換為新的狀態S'，且每執行完一個Action后程序會得到一個激勵值（Reward），而程序就依據得到的激勵值的大小調整其策略，使得在所有步驟執行完后，即狀態到達終止狀態（Terminal）時，所獲得的Reward之和最大。強化學習不斷強化智能體的決策水平，但考慮到實際場景通常不會給予智能體“不斷試錯”的機會，安全性和成本都得不到保證。若不與環境交互，則會產生很大的外推誤差。

以上兩類方法都有各自的優點和局限性，監督學習的思想是一種純端到端的形式，如果訓練數據不足量，控制算法的泛化誤差會很大。而一般強化學習的方法可以在集中供熱這樣的控制類任務中表現優良，但需要環境的交互作為提升模型性能的基礎。

發明內容

鑒于此，本發明的目的在于提出一種新型算法，更穩定的滿足用熱戶的用熱需求，以及在滿足用熱需求的基礎上，有效的降低供熱系統的運行損耗，減少供暖成本，提出一種無需與環境交互的，又能夠充分利用強化學習優勢的離線強化學習方法。離線強化學習，是目前學屆和工業屆的熱點，是強化學習落地供熱場景的一種重要形式，可以降低強化學習應用于供熱的門檻，有利于供熱行業的智能化與數字化轉型。集中供熱系統控制的現實目標是為用熱戶提供舒適的室內環境，從技術角度說就是通過控制算法調節相關參數以滿足采暖用熱戶的用熱需求。

本發明提供一種基于離線強化學習的供熱控制方法，包括以下步驟：