[發(fā)明專利]一種基于強(qiáng)化學(xué)習(xí)的電能計(jì)量檢定環(huán)境控制方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110421914.5
• 申請日: 2021-04-19
• 公開（公告）號: CN113126679A
• 公開（公告）日: 2021-07-16
• 發(fā)明（設(shè)計(jì)）人: 招景明;趙炳輝;黃友朋;左右宇;姚智聰;彭龍;李嘉杰
• 申請（專利權(quán)）人: 廣東電網(wǎng)有限責(zé)任公司計(jì)量中心
• 主分類號: G05D27/02
• 分類號: G05D27/02;G05B13/02;G01R35/04
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 陳旭紅;呂金金

本發(fā)明公開了一種基于強(qiáng)化學(xué)習(xí)的電能計(jì)量檢定環(huán)境控制方法及系統(tǒng)，其中方法包括：設(shè)置期望的環(huán)境參數(shù)，其中，所述環(huán)境參數(shù)包括：溫度、濕度和氣壓；根據(jù)所述期望的環(huán)境參數(shù)，通過環(huán)境參數(shù)控制器的調(diào)節(jié)參數(shù)，控制環(huán)境調(diào)節(jié)設(shè)備改變環(huán)境參數(shù)，其中，所述調(diào)節(jié)參數(shù)包括：溫度調(diào)節(jié)設(shè)備的調(diào)節(jié)動(dòng)作、濕度調(diào)節(jié)設(shè)備的調(diào)節(jié)動(dòng)作和氣壓調(diào)節(jié)設(shè)備的調(diào)節(jié)動(dòng)作；獲取實(shí)時(shí)環(huán)境參數(shù)，并根據(jù)預(yù)設(shè)的強(qiáng)化學(xué)習(xí)模型，獲取下一步的調(diào)節(jié)參數(shù)，重復(fù)執(zhí)行通過環(huán)境參數(shù)控制器的調(diào)節(jié)參數(shù)，控制環(huán)境調(diào)節(jié)設(shè)備改變環(huán)境參數(shù)，直到所述實(shí)時(shí)環(huán)境參數(shù)等于期望的環(huán)境參數(shù)。本發(fā)明能夠解決的PID控制算法的缺陷，在提高控制精度的同時(shí)，還能獲得更加穩(wěn)定的控制效果。

技術(shù)領(lǐng)域

本發(fā)明涉及電能計(jì)量技術(shù)領(lǐng)域，特別是涉及一種基于強(qiáng)化學(xué)習(xí)的電能計(jì)量檢定環(huán)境控制方法、系統(tǒng)、終端設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

目前，在電能計(jì)量檢定系統(tǒng)中，涉及各種類型高精度計(jì)量裝置和計(jì)量檢定設(shè)備，其中各種計(jì)量器具檢定規(guī)程中，規(guī)定了檢定器具時(shí)的溫度、相對濕度等環(huán)境條件；當(dāng)環(huán)境條件達(dá)不到規(guī)程要求時(shí)，將會(huì)對檢定結(jié)果產(chǎn)生較大的影響，造成較大的檢定誤差，可能使計(jì)量器具的準(zhǔn)確性達(dá)不到要求，檢定結(jié)果可信度降低，甚至無法滿足法定要求。因此，在檢定中心，環(huán)境的溫/濕度，氣壓等參數(shù)的可靠控制，顯得尤為重要，是保障可靠檢定結(jié)果的重要影響因素。

在目前環(huán)境參數(shù)控制系統(tǒng)中，不同的環(huán)境參數(shù)的控制回路之間是隔離的，比如環(huán)境溫度控制回路，僅負(fù)責(zé)溫度的控制，環(huán)境濕度的控制回路，只則負(fù)責(zé)環(huán)境濕度控制，無法實(shí)現(xiàn)控制回路之間的參數(shù)交互。且每一項(xiàng)環(huán)境參數(shù)的控制回路都是基于簡單的PID算法實(shí)現(xiàn)。但是，PID的控制是一種基于誤差的積微分的簡單控制，對于多變化、多稠合的系統(tǒng)來說，容易引起超調(diào)和滯后，無法進(jìn)行精確額控制；控制效果極度依賴于調(diào)試人員經(jīng)驗(yàn)。

發(fā)明內(nèi)容

本發(fā)明的目的是：提供一種基于強(qiáng)化學(xué)習(xí)的電能計(jì)量檢定環(huán)境控制方法、系統(tǒng)、終端設(shè)備和存儲(chǔ)介質(zhì)，能夠解決的PID控制算法的缺陷，在提高控制精度的同時(shí)，還能獲得更加穩(wěn)定的控制效果。

為了實(shí)現(xiàn)上述目的，本發(fā)明提供了一種基于強(qiáng)化學(xué)習(xí)的電能計(jì)量檢定環(huán)境控制方法，包括：

S101、設(shè)置期望的環(huán)境參數(shù)，其中，所述環(huán)境參數(shù)包括：溫度、濕度和氣壓；

S102、根據(jù)所述期望的環(huán)境參數(shù)，通過環(huán)境參數(shù)控制器的調(diào)節(jié)參數(shù)，控制環(huán)境調(diào)節(jié)設(shè)備改變環(huán)境參數(shù)，其中，所述調(diào)節(jié)參數(shù)包括：溫度調(diào)節(jié)設(shè)備的調(diào)節(jié)動(dòng)作、濕度調(diào)節(jié)設(shè)備的調(diào)節(jié)動(dòng)作和氣壓調(diào)節(jié)設(shè)備的調(diào)節(jié)動(dòng)作；

S103、獲取實(shí)時(shí)環(huán)境參數(shù)，并根據(jù)預(yù)設(shè)的強(qiáng)化學(xué)習(xí)模型，獲取下一步的調(diào)節(jié)參數(shù)，重復(fù)執(zhí)行步驟S102－S103，直到所述實(shí)時(shí)環(huán)境參數(shù)等于期望的環(huán)境參數(shù)。

進(jìn)一步地，所述預(yù)設(shè)的強(qiáng)化學(xué)習(xí)模型，包括：

通過設(shè)置學(xué)習(xí)速率和折扣因子，構(gòu)建強(qiáng)化學(xué)習(xí)模型，公式如下：

Q(S,A)←(1-α)*Q(S,A)+α*[R+γ*max_aQ(S',a)]

其中，Q(S,A)表示Q表中當(dāng)前狀態(tài)S和對應(yīng)的動(dòng)作A，α是學(xué)習(xí)速率，γ表示折扣因子，S'表示動(dòng)作A執(zhí)行完成后，系統(tǒng)環(huán)境到達(dá)的狀態(tài)，Q(S',a)是表示在S'狀態(tài)在所有動(dòng)作下Q值的集合，max_aQ(S',a)表示在狀態(tài)S'下最大的Q值，R是獎(jiǎng)勵(lì)值。

進(jìn)一步地，所述獎(jiǎng)勵(lì)值，具體采用如下公式：