[發(fā)明專利]基于深度強化學(xué)習(xí)無模型自適應(yīng)混水溫度控制系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 202010818036.6
• 申請日: 2020-08-14
• 公開（公告）號: CN111781840B
• 公開（公告）日: 2022-08-09
• 發(fā)明（設(shè)計）人: 黃文俊;蘭琦琦;解澤宇
• 申請（專利權(quán)）人: 哈爾濱商業(yè)大學(xué)
• 主分類號: G05B13/04
• 分類號: G05B13/04
• 代理公司: 哈爾濱市偉晨專利代理事務(wù)所(普通合伙) 23209
• 代理人: 陳潤明

基于深度強化學(xué)習(xí)無模型自適應(yīng)混水溫度控制系統(tǒng)及方法，屬于冷熱水混水溫度控制領(lǐng)域。本發(fā)明解決了現(xiàn)有的混水裝置手動調(diào)溫具有調(diào)溫困難，浪費水資源等問題。本發(fā)明包括動作網(wǎng)絡(luò)模塊和價值網(wǎng)絡(luò)模塊，本發(fā)明的具體方法步驟為：步驟一，自定義混水系統(tǒng)的狀態(tài)空間和動作空間，建立動作網(wǎng)絡(luò)和價值網(wǎng)絡(luò)；步驟二，根據(jù)與混水環(huán)境交互產(chǎn)生的數(shù)據(jù)訓(xùn)練動作網(wǎng)絡(luò)和價值網(wǎng)絡(luò)，獲得混水調(diào)溫DDPG模型；步驟三，在混水設(shè)備部署該DDPG模型，并與云服務(wù)器實時通信，異步更新設(shè)備模型參數(shù)，實現(xiàn)自適應(yīng)學(xué)習(xí)新混水環(huán)境。本發(fā)明的溫度控制系統(tǒng)及方法可自適應(yīng)使用環(huán)境，且對環(huán)境因素有很強的適應(yīng)性，并且讓混水系統(tǒng)可靠和精準(zhǔn)。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于深度強化學(xué)習(xí)無模型自適應(yīng)混水溫度控制系統(tǒng)及方法，屬于冷熱水混水溫度控制領(lǐng)域。

背景技術(shù)

傳統(tǒng)的混水裝置中，大多采用手動調(diào)溫的方式，具有調(diào)溫困難、浪費水資源等問題，而市面上的一些混水智能恒溫系統(tǒng)通常采用的是固定的算法，其問題在于不能適配不同的環(huán)境，存在可靠性差和精度差等問題。

大多數(shù)現(xiàn)有的控制研究工作是關(guān)于單變量PID控制的，有關(guān)它的理論及設(shè)計已經(jīng)很好地建立、理解并且實際應(yīng)用。但是整個多變量PID系統(tǒng)還不成功，而大多數(shù)的工業(yè)過程在本質(zhì)上是多變量的。

傳統(tǒng)經(jīng)典PID算法需要手動調(diào)整PID參數(shù)，而傳統(tǒng)混水設(shè)備在使用過程中面臨水溫水壓等環(huán)境因素各不相同，無法根據(jù)不同設(shè)備自動調(diào)整PID參數(shù)。

針對無模型自適應(yīng)學(xué)習(xí)，當(dāng)前強化學(xué)習(xí)中的一個重要分支-深度確定性梯度下降(Deep Deterministic Policy Gradient，DDPG)提供了很好的解決方案，因此，本發(fā)明基于DDPG算法提出了一種基于深度強化學(xué)習(xí)的無模型自適應(yīng)混水溫度控制方法及系統(tǒng)。

發(fā)明內(nèi)容

本發(fā)明解決了目前現(xiàn)有的混水裝置手動調(diào)溫具有調(diào)溫困難、浪費水資源等問題，本發(fā)明公開了“基于深度強化學(xué)習(xí)無模型自適應(yīng)混水溫度控制系統(tǒng)及方法”。在下文中給出了關(guān)于本發(fā)明的簡要概述，以便提供關(guān)于本發(fā)明的某些方面的基本理解。應(yīng)當(dāng)理解，這個概述并不是關(guān)于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的關(guān)鍵或重要部分，也不是意圖限定本發(fā)明的范圍。

本發(fā)明的技術(shù)方案：

基于深度強化學(xué)習(xí)無模型自適應(yīng)混水溫度控制系統(tǒng)，包括動作網(wǎng)絡(luò)模塊和價值網(wǎng)絡(luò)模塊；

動作網(wǎng)絡(luò)模塊包括估計網(wǎng)絡(luò)模塊和評價目標(biāo)網(wǎng)絡(luò)模塊；

動作網(wǎng)絡(luò)模塊用于定義混水系統(tǒng)的狀態(tài)空間和動作空間；

價值網(wǎng)絡(luò)模塊用于判斷評價網(wǎng)絡(luò)環(huán)境；

動作網(wǎng)絡(luò)模塊和價值網(wǎng)絡(luò)模塊用于進行環(huán)境交互獲得DDPG模型。

基于深度強化學(xué)習(xí)無模型自適應(yīng)混水溫度控制方法，是基于深度強化學(xué)習(xí)無模型自適應(yīng)混水溫度控制系統(tǒng)實現(xiàn)的，具體方法步驟如下：

步驟一，自定義混水系統(tǒng)的狀態(tài)空間和動作空間，建立動作網(wǎng)絡(luò)和價值網(wǎng)絡(luò)；

步驟二，根據(jù)與混水環(huán)境交互產(chǎn)生的數(shù)據(jù)訓(xùn)練動作網(wǎng)絡(luò)和價值網(wǎng)絡(luò)，獲得混水調(diào)溫DDPG模型；

步驟三，在混水設(shè)備部署該DDPG模型，并與云服務(wù)器實時通信，異步更新設(shè)備模型參數(shù)，實現(xiàn)自適應(yīng)學(xué)習(xí)新混水環(huán)境。

進一步的，步驟一中，所述的動作網(wǎng)絡(luò)包括：動作網(wǎng)絡(luò)、目標(biāo)動作網(wǎng)絡(luò)；所述的價值網(wǎng)絡(luò)包括判斷價值網(wǎng)絡(luò)、目標(biāo)價值網(wǎng)絡(luò)混水系統(tǒng)的狀態(tài)空間和動作空間，所述混水系統(tǒng)的動作空間為調(diào)整撥片的轉(zhuǎn)動速度A∈[V_max，V_min]，其中V_max為調(diào)溫最大轉(zhuǎn)速，V_min＝-V_max；