[發(fā)明專利]一種基于強化學(xué)習(xí)的電能計量檢定環(huán)境控制方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110421914.5
• 申請日: 2021-04-19
• 公開（公告）號: CN113126679A
• 公開（公告）日: 2021-07-16
• 發(fā)明（設(shè)計）人: 招景明;趙炳輝;黃友朋;左右宇;姚智聰;彭龍;李嘉杰
• 申請（專利權(quán)）人: 廣東電網(wǎng)有限責(zé)任公司計量中心
• 主分類號: G05D27/02
• 分類號: G05D27/02;G05B13/02;G01R35/04
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 陳旭紅;呂金金

1.一種基于強化學(xué)習(xí)的電能計量檢定環(huán)境控制方法，其特征在于，包括：

S101、設(shè)置期望的環(huán)境參數(shù)，其中，所述環(huán)境參數(shù)包括：溫度、濕度和氣壓；

S102、根據(jù)所述期望的環(huán)境參數(shù)，通過環(huán)境參數(shù)控制器的調(diào)節(jié)參數(shù)，控制環(huán)境調(diào)節(jié)設(shè)備改變環(huán)境參數(shù)，其中，所述調(diào)節(jié)參數(shù)包括：溫度調(diào)節(jié)設(shè)備的調(diào)節(jié)動作、濕度調(diào)節(jié)設(shè)備的調(diào)節(jié)動作和氣壓調(diào)節(jié)設(shè)備的調(diào)節(jié)動作；

S103、獲取實時環(huán)境參數(shù)，并根據(jù)預(yù)設(shè)的強化學(xué)習(xí)模型，獲取下一步的調(diào)節(jié)參數(shù)，重復(fù)執(zhí)行步驟S102-S103，直到所述實時環(huán)境參數(shù)等于期望的環(huán)境參數(shù)。

2.根據(jù)權(quán)利要求1所述的基于強化學(xué)習(xí)的電能計量檢定環(huán)境控制方法，其特征在于，所述預(yù)設(shè)的強化學(xué)習(xí)模型，包括：

通過設(shè)置學(xué)習(xí)速率和折扣因子，構(gòu)建強化學(xué)習(xí)模型，公式如下：

Q(S,A)←(1-α)*Q(S,A)+α*[R+γ*max_aQ(S',a)]

其中，Q(S,A)表示Q表中當(dāng)前狀態(tài)S和對應(yīng)的動作A，α是學(xué)習(xí)速率，γ表示折扣因子，S'表示動作A執(zhí)行完成后，系統(tǒng)環(huán)境到達(dá)的狀態(tài)，Q(S',a)是表示在S'狀態(tài)在所有動作下Q值的集合，max_aQ(S',a)表示在狀態(tài)S'下最大的Q值，R是獎勵值。

3.根據(jù)權(quán)利要求2所述的基于強化學(xué)習(xí)的電能計量檢定環(huán)境控制方法，其特征在于，所述獎勵值，具體采用如下公式：

其中，W_T，W_H，W_P，表示環(huán)境參數(shù)權(quán)重，范圍都是[0，1]，且滿足sum(W_T，W_H，W_P)＝1，N，K，M分別表示溫度傳感器，濕度傳感器和壓力傳感器的個數(shù)，t_i表示第i個溫度傳感器的溫度值，_i表示第i個濕度傳感器的濕度值，p_i表示第i個壓力傳感器的氣壓值，T_sp，H_sp，P_sp分別表示系統(tǒng)設(shè)定的溫度，濕度，氣壓值，ε是一個余項，防止除0操作。

4.根據(jù)權(quán)利要求1所述的基于強化學(xué)習(xí)的電能計量檢定環(huán)境控制方法，其特征在于，所述獲取實時環(huán)境參數(shù)，包括：

通過傳感器獲取實時溫度數(shù)據(jù)、濕度數(shù)據(jù)以及氣壓數(shù)據(jù)，將所述實時溫度數(shù)據(jù)、濕度數(shù)據(jù)以及氣壓數(shù)據(jù)組成環(huán)境參數(shù)，其中，環(huán)境參數(shù)采用D＝{T，H，P}表示，其中T＝{t₀，t₁，...t_n}表示N個溫度采樣點采樣的環(huán)境溫度，其中t_n表示第n個傳感器，H＝{h₀，h₁，...h_k}表示k個濕度采樣點采樣的環(huán)境濕度值，其中h_k表示第k個傳感器，P＝{p₀，p₁，...p_m}表示m個氣壓采樣點的環(huán)境氣壓，其中p_m表示第m個傳感器；則環(huán)境當(dāng)前的狀態(tài)表示為為各傳感器采樣值的均值。

5.一種基于強化學(xué)習(xí)的電能計量檢定環(huán)境控制系統(tǒng)，其特征在于，包括：設(shè)置模塊、調(diào)節(jié)模塊和控制模塊，其中，

所述設(shè)置模塊，用于設(shè)置期望的環(huán)境參數(shù)、學(xué)習(xí)速率和折扣因子，其中，所述環(huán)境參數(shù)包括：溫度、濕度和氣壓；

所述調(diào)節(jié)模塊，用于根據(jù)所述期望的環(huán)境參數(shù)，通過環(huán)境參數(shù)控制器的調(diào)節(jié)參數(shù)，控制環(huán)境調(diào)節(jié)設(shè)備改變環(huán)境參數(shù)，其中，所述調(diào)節(jié)參數(shù)包括：溫度調(diào)節(jié)設(shè)備的調(diào)節(jié)動作、濕度調(diào)節(jié)設(shè)備的調(diào)節(jié)動作和氣壓調(diào)節(jié)設(shè)備的調(diào)節(jié)動作；

控制模塊，用于獲取實時環(huán)境參數(shù)，并根據(jù)預(yù)設(shè)的強化學(xué)習(xí)模型，獲取下一步的調(diào)節(jié)參數(shù)，重復(fù)執(zhí)行調(diào)用調(diào)節(jié)模塊和控制模塊，直到所述實時環(huán)境參數(shù)等于期望的環(huán)境參數(shù)。