[發明專利]一種基于強化學習的電能計量檢定環境控制方法和系統

在審

• 申請號: 202110421914.5
• 申請日: 2021-04-19
• 公開（公告）號: CN113126679A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 招景明;趙炳輝;黃友朋;左右宇;姚智聰;彭龍;李嘉杰
• 申請（專利權）人: 廣東電網有限責任公司計量中心
• 主分類號: G05D27/02
• 分類號: G05D27/02;G05B13/02;G01R35/04
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 陳旭紅;呂金金

1.一種基于強化學習的電能計量檢定環境控制方法，其特征在于，包括：

S101、設置期望的環境參數，其中，所述環境參數包括：溫度、濕度和氣壓；

S102、根據所述期望的環境參數，通過環境參數控制器的調節參數，控制環境調節設備改變環境參數，其中，所述調節參數包括：溫度調節設備的調節動作、濕度調節設備的調節動作和氣壓調節設備的調節動作；

S103、獲取實時環境參數，并根據預設的強化學習模型，獲取下一步的調節參數，重復執行步驟S102-S103，直到所述實時環境參數等于期望的環境參數。

2.根據權利要求1所述的基于強化學習的電能計量檢定環境控制方法，其特征在于，所述預設的強化學習模型，包括：

通過設置學習速率和折扣因子，構建強化學習模型，公式如下：

Q(S,A)←(1-α)*Q(S,A)+α*[R+γ*max_aQ(S',a)]

其中，Q(S,A)表示Q表中當前狀態S和對應的動作A，α是學習速率，γ表示折扣因子，S'表示動作A執行完成后，系統環境到達的狀態，Q(S',a)是表示在S'狀態在所有動作下Q值的集合，max_aQ(S',a)表示在狀態S'下最大的Q值，R是獎勵值。

3.根據權利要求2所述的基于強化學習的電能計量檢定環境控制方法，其特征在于，所述獎勵值，具體采用如下公式：

其中，W_T，W_H，W_P，表示環境參數權重，范圍都是[0，1]，且滿足sum(W_T，W_H，W_P)＝1，N，K，M分別表示溫度傳感器，濕度傳感器和壓力傳感器的個數，t_i表示第i個溫度傳感器的溫度值，_i表示第i個濕度傳感器的濕度值，p_i表示第i個壓力傳感器的氣壓值，T_sp，H_sp，P_sp分別表示系統設定的溫度，濕度，氣壓值，ε是一個余項，防止除0操作。

4.根據權利要求1所述的基于強化學習的電能計量檢定環境控制方法，其特征在于，所述獲取實時環境參數，包括：

通過傳感器獲取實時溫度數據、濕度數據以及氣壓數據，將所述實時溫度數據、濕度數據以及氣壓數據組成環境參數，其中，環境參數采用D＝{T，H，P}表示，其中T＝{t₀，t₁，...t_n}表示N個溫度采樣點采樣的環境溫度，其中t_n表示第n個傳感器，H＝{h₀，h₁，...h_k}表示k個濕度采樣點采樣的環境濕度值，其中h_k表示第k個傳感器，P＝{p₀，p₁，...p_m}表示m個氣壓采樣點的環境氣壓，其中p_m表示第m個傳感器；則環境當前的狀態表示為為各傳感器采樣值的均值。

5.一種基于強化學習的電能計量檢定環境控制系統，其特征在于，包括：設置模塊、調節模塊和控制模塊，其中，

所述設置模塊，用于設置期望的環境參數、學習速率和折扣因子，其中，所述環境參數包括：溫度、濕度和氣壓；

所述調節模塊，用于根據所述期望的環境參數，通過環境參數控制器的調節參數，控制環境調節設備改變環境參數，其中，所述調節參數包括：溫度調節設備的調節動作、濕度調節設備的調節動作和氣壓調節設備的調節動作；

控制模塊，用于獲取實時環境參數，并根據預設的強化學習模型，獲取下一步的調節參數，重復執行調用調節模塊和控制模塊，直到所述實時環境參數等于期望的環境參數。