[發明專利]一種基于深度強化學習的地鐵站空調系統節能控制方法

有效

• 申請號: 202110333881.9
• 申請日: 2021-03-29
• 公開（公告）號: CN113283156B
• 公開（公告）日: 2023-09-15
• 發明（設計）人: 魏東;焦煥炎;冉義兵;馮浩東
• 申請（專利權）人: 北京建筑大學
• 主分類號: G06F30/27
• 分類號: G06F30/27;F24F11/46;G06N3/008;G06N3/045;G06N3/08;G06F119/08
• 代理公司: 成都瑞創華盛知識產權代理事務所(特殊普通合伙) 51270
• 代理人: 鄧瑞;辜強

1.一種基于深度強化學習的地鐵站空調系統節能控制方法，其特征在于：通過以下步驟實現：

S1、采集地鐵站空調系統數據參數；

S2、對采集的數據進行滑動平均濾波處理、歸一化和反歸一化處理并利用線性函數轉換方法將數據轉換成0-1范圍內的數值；

S3、利用神經網絡和步驟S2獲得的數據構建地鐵站空調系統的神經網絡模型；

S4、確定DDPG智能體的狀態變量、動作變量、獎勵信號以及結構；

S5、利用多步預測的DDPG算法求解最后的控制策略；

所述神經網絡具有一個輸入層、一個隱含層和一個輸出層，所述隱含層的節點數為10；

所述輸出層輸出的為下一時刻系統能效比EER[k+1]和站臺溫度T_in[k+1]；

所述DDPG智能體的狀態變量S＝[T_out,RH_out,L,EER,T_in]；

DDPG智能體的動作變量A＝[T_chws,f_pumpch,f_pumpc,f_t,f_fan,d]；

DDPG智能體的獎勵信號：R＝-|T_in-T_{in_set}|+e^EER/100，其中，T_{in_set}代表站臺溫度設定值，e^EER表示系統能效比的指數函數；

DDPG智能體結構包括Actor網絡和Critic網絡，且Actor網絡和Critic網絡均由3層的全連接層網絡構成；

所述多步預測的DDPG算法包括Actor當前網絡π(s,θ)、Critic當前網絡q(s,a,w)、Actor目標網絡π′(s,θ′)以及Critic目標網絡q′(s,a,w′)，其中，具體算法如下：

step1:隨機初始化參數θ、w、θ′＝θ、w′＝w；清空經驗回放池D；

step2:初始化狀態S；

step3:基于Actor當前網絡π(s,θ)生成n組動作A_i＝π(S,θ)+ξ(i＝1,2,...,n)；

step4:利用系統模型,執行A_i(i＝1,2,...,n)，并向前預測p步,產生p個未來時刻的狀態、動作和獎勵值；

step5:計算每一組的總獎勵值R_total(A_i)，共n個，令A＝argmax(R_total(A_i))；

step6：執行動作A,得到下一時刻狀態S′和獎勵R；

step7：將{S,A,R,S′}這個四元組存入經驗回放池D；

step8：S←S′；

step9:從集合D中隨機采樣m個樣本，{S_j,A_j,R_j,S′_j}j＝1,2,...,m，根據計算式y_j＝R_j+γq′(S′,π′(S′,θ′),w′)計算當前目標值y_j；

step10:根據計算式計算計算均方差損失函數J(w)，更新

step11:根據計算式計算計算損失函數J(θ)，更新θ：

step12:如果N％C＝1，根據計算式w′←τw+(1-τ)w′和θ′←τθ+(1-τ)θ′更新目標網絡參數；

step13:若S是非終止狀態,轉step3；S不是非終止狀態,轉下一步；

step14:若迭代次數小于N,轉step2,若不小于N,結束；

其中，θ為Actor當前網絡參數；θ′為Actor目標網絡參數；w為Critic當前網絡參數；w′為Critic目標網絡參數；A為智能體施加給環境的動作；ξ為隨機高斯噪聲；D為經驗回放池集合；m為批量梯度下降的樣本數；C為目標網絡參數更新頻率；N為最大迭代次數；步長α^θ＞0，α^w＞0；γ為折扣因子，τ為軟更新系數；n為預測組數；p為預測步數。

2.根據權利要求1所述的一種基于深度強化學習的地鐵站空調系統節能控制方法，其特征在于，所述地鐵站空調系統數據具包括：

室外溫度T_out[k]；

室外相對濕度RH_out[k]；

系統負荷L[k]；

系統能效比EER[k]；

站臺溫度T_in[k]；

冷凍水供水溫度T_chws[k]；

冷凍水泵流量f_pumpch[k]；

冷卻水泵流量f_pumpc[k]；

冷卻塔風機電壓f_t[k]；

末端風機頻率f_fan[k]；

冷凍水閥開度d[k]；

其中：k表示當前時刻。