[發明專利]用于操作空調系統的控制器和空調系統的控制方法

在審

• 申請號: 201780061463.0
• 申請日: 2017-08-10
• 公開（公告）號: CN109804206A
• 公開（公告）日: 2019-05-24
• 發明（設計）人: A-M·法拉赫曼德;S·納比;P·格羅弗;丹尼爾·N·尼科夫斯基
• 申請（專利權）人: 三菱電機株式會社
• 主分類號: F24F11/64
• 分類號: F24F11/64
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 師瑋;黃綸偉

一種用于控制調節室內空間的空調系統的操作的控制器，該控制器包括：數據輸入部，該數據輸入部用于接收空間中多個點處的空間的狀態數據；存儲器，該存儲器用于存儲強化學習算法的代碼、以及狀態數據的歷史和已經應用至空調系統的控制命令的歷史，其中，控制命令的歷史與獎勵的歷史和狀態數據相關聯；處理器，該處理器耦接至存儲器，處理器利用強化學習算法確定輸出獎勵的積累價值的價值函數并發送控制命令；以及數據輸出部，該數據輸出部用于從處理器接收控制命令并向空調系統發送控制信號，其中，控制信號根據控制命令控制空調系統的至少一個致動器。

技術領域

本發明涉及用于控制HVAC系統的方法，和HVAC控制系統，更具體地說，涉及基于強化學習的HVAC控制方法及其HVAC控制系統。

背景技術

暖通空調(HVAC)系統可以使用許多傳感器和致動器。這些傳感器是處于建筑物中不同位置的溫度計，或可以讀取房間中的人、物體，以及墻壁的溫度的紅外攝像頭。而且，HVAC系統中的致動器是吹風并控制空氣速度以控制房間溫度的風扇。HVAC系統的最終目標是使居住者感覺較舒適，同時最小化系統的操作成本。

居住者的舒適程度依賴于許多因素，包括在房間中的溫度、濕度以及居住者周圍的氣流。舒適程度還依賴于身體的核心溫度以及影響舒適感的其他生理和心理因素。存在伴隨復雜行為的外部和內部因素。外部因素依賴于氣流的溫度和濕度，并且可以通過布西內斯克(Boussinesq)方程或納維-斯托克斯(Navier-Stokes)方程與對流擴散方程的耦合來描述。這些方程由描述氣流的動量和質量輸送以及房間內的熱傳遞的偏微分方程(PDE)表示。氣流的物理模型是復雜的動態系統，因此，對該動態系統進行實時建模并求解非常具有挑戰性。由于氣流的控制方程由PDE表達，因此，溫度和濕度不僅是時變的，而且是空間變化的。例如，冬季期間窗戶附近的溫度低于遠離窗戶的位置的溫度。因此，即使房間中的平均溫度在標準舒適區內，坐在窗戶附近的人也會感到不舒適。

內部因素的動態也是復雜的，并且依賴于個人的生理和心理，因此是個人相關的。理想的HVAC系統應考慮內部和外部這兩個系統的相互作用。由于系統的復雜性，因此，設計HVAC控制器非常困難。

當前的HVAC系統通過一系列約束性和限制性的近似而忽略了這些復雜性。當前HVAC系統中使用的大多數方法基于僅由一個或幾個標量值指示的所有相關物理變量的集總建模。由于忽略了氣流、溫度，以及濕度變化的復雜動態，因此，在使居住者舒適，同時最小化操作成本方面，限制了當前HVAC系統的性能。

因此，需要進一步開發對HVAC系統的控制。

發明內容

一些實施方式基于以下事實的認識和理解：一種用于操作調節室內空間的空調系統的控制器，該控制器包括：數據輸入部，該數據輸入部用于接收空間中多個點處的空間的狀態數據；存儲器，該存儲器用于存儲強化學習算法的代碼，以及狀態數據的歷史和已經應用至空調系統的控制命令的歷史，其中，控制命令的歷史與獎勵的歷史和狀態數據相關聯；處理器，該處理器耦接至存儲器，處理器利用強化學習算法來確定輸出獎勵的積累價值的價值函數并發送控制命令，其中，強化學習算法處理狀態數據的歷史、控制命令的歷史，以及獎勵數據的歷史，并且發送控制命令；數據輸出部，該數據輸出部用于從處理器接收控制命令并向空調系統發送控制信號，其中，控制信號根據控制命令控制空調系統的至少一個致動器。

另一個實施方式公開了一種調節室內空間的空調系統的控制方法，該控制方法包括以下步驟：利用至少一個傳感器測量空間中多個點處的空間的狀態數據；存儲狀態數據的歷史和已經應用至空調系統的控制命令的歷史，其中，控制命令的歷史與獎勵的歷史和狀態數據相關聯；確定輸出獎勵的積累價值的價值函數，其中，確定價值函數的步驟利用強化學習算法來執行，該強化學習算法處理狀態數據的歷史、控制命令的歷史，以及獎勵數據的歷史，并且發送控制命令；基于價值函數，利用最新狀態數據和狀態數據的歷史確定控制命令；以及根據控制命令，利用至少一個致動器來控制空調系統。