[發(fā)明專利]一種基于深度強(qiáng)化學(xué)習(xí)的地鐵站空調(diào)系統(tǒng)節(jié)能控制方法

有效

• 申請?zhí)枺?/td>: 202110333881.9
• 申請日: 2021-03-29
• 公開（公告）號: CN113283156B
• 公開（公告）日: 2023-09-15
• 發(fā)明（設(shè)計(jì)）人: 魏東;焦煥炎;冉義兵;馮浩東
• 申請（專利權(quán)）人: 北京建筑大學(xué)
• 主分類號: G06F30/27
• 分類號: G06F30/27;F24F11/46;G06N3/008;G06N3/045;G06N3/08;G06F119/08
• 代理公司: 成都瑞創(chuàng)華盛知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 51270
• 代理人: 鄧瑞;辜強(qiáng)

本發(fā)明提供了一種基于深度強(qiáng)化學(xué)習(xí)的地鐵站空調(diào)系統(tǒng)節(jié)能控制方法，該方法通過采集地鐵站空調(diào)系統(tǒng)數(shù)據(jù)參數(shù)；對采集的數(shù)據(jù)進(jìn)行滑動平均濾波處理、歸一化和反歸一化處理并利用線性函數(shù)轉(zhuǎn)換方法將數(shù)據(jù)轉(zhuǎn)換成0?1范圍內(nèi)的數(shù)值；利用神經(jīng)網(wǎng)絡(luò)和步驟獲得的數(shù)據(jù)構(gòu)建地鐵站空調(diào)系統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型；確定DDPG智能體的狀態(tài)變量、動作變量、獎勵信號以及結(jié)構(gòu)；利用多步預(yù)測的DDPG算法求解最后的控制策略，本發(fā)明提出的控制方法具有很好的溫度跟蹤性能，與傳統(tǒng)DDPG算法相比,智能體訓(xùn)練次數(shù)減少了86次，且能夠在系統(tǒng)負(fù)荷變化的情況下使系統(tǒng)穩(wěn)定運(yùn)行,滿足車站溫度需求,同時(shí)與目前實(shí)際工程中的運(yùn)行系統(tǒng)相比，節(jié)能17.908％。

技術(shù)領(lǐng)域

本發(fā)明涉及地鐵站空調(diào)節(jié)能領(lǐng)域，特別是一種基于深度強(qiáng)化學(xué)習(xí)的地鐵站空調(diào)系統(tǒng)節(jié)能控制方法。

背景技術(shù)

地鐵站作為實(shí)現(xiàn)城市軌道交通功能性的必要環(huán)節(jié),對人們的日常生活具有重要意義.近年來,隨著眾多地鐵站的快速建設(shè)、運(yùn)營,其相應(yīng)的能耗也迅速增長,能耗問題日益凸顯.其中,暖通空調(diào)(Heating,ventilation?and?air?conditioning,HVAC)系統(tǒng)是主要的能耗來源,約占車站總能耗的40％以上,僅次于列車牽引系統(tǒng)，地鐵站空調(diào)系統(tǒng)的設(shè)備一般按照遠(yuǎn)期高峰小時(shí)運(yùn)行情況進(jìn)行配置,在運(yùn)行初中期,客流及行車對數(shù)遠(yuǎn)沒有達(dá)到設(shè)計(jì)水平,因此設(shè)備選型有較大的富余量,造成空調(diào)系統(tǒng)通常在低能效的低負(fù)荷段運(yùn)行,造成能源浪費(fèi).此外,目前國內(nèi)大部分地鐵站仍然依賴用于低層設(shè)備的PID調(diào)節(jié)器,以及用于高層監(jiān)控系統(tǒng)的基于規(guī)則的控制方案，PID控制方法存在參數(shù)整定和調(diào)試?yán)щy的問題,在空調(diào)系統(tǒng)負(fù)荷和工況發(fā)生變化時(shí)極易產(chǎn)生振蕩,控制效果不佳。基于規(guī)則的控制方法是指根據(jù)地鐵運(yùn)行時(shí)刻表對各設(shè)備采取固定模式的變頻技術(shù),該方法存在無法根據(jù)實(shí)際負(fù)荷需求實(shí)時(shí)調(diào)整控制參數(shù)的問題,這不僅會消耗更多能源,還會使得夏季地鐵站臺溫度偏低,造成人員舒適性差.另一方面,目前地鐵站空調(diào)通常對風(fēng)系統(tǒng)和水系統(tǒng)單獨(dú)進(jìn)行控制,而風(fēng)系統(tǒng)與水系統(tǒng)之間存在耦合關(guān)系,單獨(dú)控制難以實(shí)現(xiàn)系統(tǒng)精準(zhǔn)節(jié)能,也很難保證人員舒適性要求。要降低地鐵站空調(diào)系統(tǒng)的運(yùn)行能耗,就必須在保證車站舒適度的前提下采取合理可行的節(jié)能控制方案。

已有研究表明,智能控制方法具有自適應(yīng)、自學(xué)習(xí)和自協(xié)調(diào)能力,能夠提升空調(diào)系統(tǒng)的性能和節(jié)能效果.其中,強(qiáng)化學(xué)習(xí)(Reinforcement?learning,RL)中的智能體通過與環(huán)境之間的直接交互來最大化獎勵信號,能夠?qū)崿F(xiàn)復(fù)雜系統(tǒng)的全局優(yōu)化控制,是充分發(fā)揮空調(diào)系統(tǒng)節(jié)能潛力的有效方法之一，應(yīng)用強(qiáng)化學(xué)習(xí)方法控制地鐵站空調(diào)系統(tǒng)可以有效提升系統(tǒng)的節(jié)能效果.不過目前還有兩個(gè)問題有待解決,其一是基于無模型的強(qiáng)化學(xué)習(xí)方法在線訓(xùn)練智能體的收斂時(shí)間較長,難以滿足控制系統(tǒng)實(shí)時(shí)性要求。其次，地鐵站空調(diào)系統(tǒng)的狀態(tài)空間和動作空間都是多維連續(xù)的,然而目前大多數(shù)相關(guān)研究成果只能處理參數(shù)空間有限的問題,且只針對單個(gè)離散控制變量產(chǎn)生控制律,這限制了它們對復(fù)雜系統(tǒng)控制的適用性。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種基于深度強(qiáng)化學(xué)習(xí)的地鐵站空調(diào)系統(tǒng)節(jié)能控制方法，該方法對地鐵站空調(diào)風(fēng)系統(tǒng)和水系統(tǒng)進(jìn)行全局優(yōu)化控制，可以適應(yīng)多維連續(xù)動作空間的系統(tǒng)；為了提升算法的學(xué)習(xí)效率,本發(fā)明基于多步預(yù)測,使智能體擇優(yōu)更新參數(shù)，利用鄰近訓(xùn)練過程中總獎勵值的變化趨勢設(shè)置了智能體訓(xùn)練終止條件,進(jìn)一步減少了智能體訓(xùn)練時(shí)間，滿足站臺溫度需求和降低系統(tǒng)整體能耗。

本發(fā)明的目的是通過以下技術(shù)方案來實(shí)現(xiàn)的：

一種基于深度強(qiáng)化學(xué)習(xí)的地鐵站空調(diào)系統(tǒng)節(jié)能控制方法：通過以下步驟實(shí)現(xiàn)：

S1、采集地鐵站空調(diào)系統(tǒng)數(shù)據(jù)參數(shù)；

S2、對采集的數(shù)據(jù)進(jìn)行滑動平均濾波處理、歸一化和反歸一化處理并利用線性函數(shù)轉(zhuǎn)換方法將數(shù)據(jù)轉(zhuǎn)換成0-1范圍內(nèi)的數(shù)值；

S3、利用神經(jīng)網(wǎng)絡(luò)和步驟S2獲得的數(shù)據(jù)構(gòu)建地鐵站空調(diào)系統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型；

S4、確定DDPG智能體的狀態(tài)變量、動作變量、獎勵信號以及結(jié)構(gòu)；