[發明專利]基于深度強化學習混合動作空間的氧氣系統調度優化方法

在審

• 申請號: 202310001606.6
• 申請日: 2023-01-03
• 公開（公告）號: CN115965213A
• 公開（公告）日: 2023-04-14
• 發明（設計）人: 李麗娟;楊雪;王歡;許曉偉;張印強
• 申請（專利權）人: 南京工業大學
• 主分類號: G06Q10/0631
• 分類號: G06Q10/0631;G06Q10/04;G06Q50/04;G06N3/048;G06N3/092
• 代理公司: 湖南澤達信專利代理事務所(普通合伙) 43284
• 代理人: 胡仿

本發明提供一種基于深度強化學習混合動作空間的氧氣系統調度優化方法，包括如下步驟：氧氣系統調度優化；基于drl的方法；結果和分析。本發明以深度強化學習為基礎，提出了用于解決氧氣系統調度問題的HAC算法，所提出的算法擴展了AC算法的actor網絡，根據市場分時電價設計額外分段獎勵函數。HAC算法解決了離散變量和連續變量的混合問題，在提高經濟效益的同時實現節能減排。實驗結果表明，HAC算法將調度問題置于混合的動作空間中，避免導致次優的動作選擇的問題。與傳統算法相比，HAC算法顯著提高了算法的收斂性和準確性，使氧氣系統具有更高的氧氣利用率和經濟效益。

技術領域

本發明涉及氧氣系統調度優化，具體涉及一種基于深度強化學習混合動作空間的氧氣系統調度優化方法。

背景技術

在鋼鐵制造過程中，氧氣是不可缺少的能源消耗原料，用氧量頻繁波動以及氧氣供需失衡，易造成氧氣利用效率低和能源浪費，增加了生產成本，因此氧氣系統調度優化對鋼鐵企業提高經濟效益至關重要。

鋼鐵企業氧氣系統調度問題涉及對整個系統設備運行和氧氣供需平衡的調度優化，既包含氧氣量、時間等連續變量，又涉及機組開啟等離散變量。這類離散-連續混合變量調度優化問題，系統復雜度高，問題難度大。其中，空分設備在氧氣系統中起到了至關重要的作用，近年來，國內外許多學者對空分設備的生產調度進行了大量的研究。針對多套空分機組頻繁變負荷運行的要求，Zhou等人建立了用于過程調度的混合整數線性規劃(mixedinteger?linear?program，MILP)模型，提出了分離模式下的最優調度策略對機組運行模式進行決策，在一定時間段內優化了總利潤率。Mitra等人將空分設備運行狀態劃分為不同模式，利用凸包法建立離散時間下的確定性混合整數線性規劃(mixed?integer?linearprogram，MILP)模型，在模型復雜度較高的情況下具有較高的求解速度。然而空分機組間具有強耦合性和非線性，傳統線性規劃方法無法解決，因此Zou等人提出了松散耦合模型與控制變量優先級設置相結合的魯棒控制策略，利用增量負載平衡計算方法來處理非線性，降低生產調度過程中能源消耗。Pattison?and?Baldea研究了在可變電價下以可變容量運行的空分設備的優化設計，提出了一種新的面向偽瞬態方程的過程建模框架，并將所開發的模型與基于時間松弛的優化算法結合使用。Morgan?T.Kelley等人提出了一種數據驅動的方法，以歷史閉環運行數據為基礎，使用帶有額外輸入的自回歸(autoregressive?withextra?inputs，ARX)模型，在工業空分裝置上進行調度優化。空分機組各設備對整體系統調度也存在影響，研究單獨設備的運行方式對系統整體調度具有重要意義。針對空分機組熱集成空分塔(HIASC)的非線性行為，Fu和Liu設計了一系列非線性波動模型預測控制方案達到優化調度目標。Cao等人采用粒子群算法對液化器進行調度優化，降低了功耗從而減少了生產成本。