[發(fā)明專利]基于深度強(qiáng)化學(xué)習(xí)的數(shù)據(jù)中心能耗優(yōu)化控制方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210052986.1
• 申請(qǐng)日: 2022-01-18
• 公開（公告）號(hào): CN114511208A
• 公開（公告）日: 2022-05-17
• 發(fā)明（設(shè)計(jì)）人: 馮炫;王為源;嚴(yán)寧;潘冬;蘭巍
• 申請(qǐng)（專利權(quán)）人: 陜西智引科技有限公司
• 主分類號(hào): G06Q10/06
• 分類號(hào): G06Q10/06;G06Q10/04;G06Q50/06;G06N3/08;G06N3/04;G06K9/62
• 代理公司: 濟(jì)南譽(yù)琨知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 37278
• 代理人: 袁彤彤

1.一種基于深度強(qiáng)化學(xué)習(xí)的數(shù)據(jù)中心能耗優(yōu)化控制方法，其特征在于，包括以下有效步驟：

a、建立深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)：所述深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)包括策略網(wǎng)絡(luò)Actor，評(píng)估網(wǎng)絡(luò)Critic1，評(píng)估網(wǎng)絡(luò)Critic2以及對(duì)應(yīng)的3個(gè)目標(biāo)網(wǎng)絡(luò)Actor-Target、Critic1-Target和Critic2-Target，其中，所述Actor網(wǎng)絡(luò)和Actor-Target網(wǎng)絡(luò)之間，Critic1網(wǎng)絡(luò)、Critic2網(wǎng)絡(luò)、Critic1-Target網(wǎng)絡(luò)和Critic2-Target網(wǎng)絡(luò)之間有相同的網(wǎng)絡(luò)結(jié)構(gòu)相同、參數(shù)不同；

b、確定深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)的狀態(tài)、動(dòng)作和獎(jiǎng)勵(lì)函數(shù)計(jì)算方法；

c、深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)初始化：通過隨機(jī)參數(shù)初始化策略網(wǎng)絡(luò)Actor網(wǎng)絡(luò)，評(píng)估網(wǎng)絡(luò)Critic1網(wǎng)絡(luò)，評(píng)估網(wǎng)絡(luò)Critic2網(wǎng)絡(luò)的參數(shù)θ₁，θ₂；以及目標(biāo)網(wǎng)絡(luò)Actor-target網(wǎng)絡(luò)，Critic1-target網(wǎng)絡(luò)，Critic2-target網(wǎng)絡(luò)的參數(shù)θ_1-，θ_2-；初始化經(jīng)驗(yàn)回放內(nèi)容大小M；

d、深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練：對(duì)于每次訓(xùn)練，根據(jù)當(dāng)前策略和噪音選擇負(fù)載分配和冷卻點(diǎn)溫度選擇動(dòng)作，然后執(zhí)行該動(dòng)作獲得下一狀態(tài)和獎(jiǎng)勵(lì)，并將該存儲(chǔ)狀態(tài)轉(zhuǎn)移值放到經(jīng)驗(yàn)回放內(nèi)存M中，當(dāng)M滿時(shí)，從經(jīng)驗(yàn)回放中隨機(jī)采樣，獲得N個(gè)狀態(tài)轉(zhuǎn)移值，并得到Critic1-target網(wǎng)絡(luò)和Critic2-target網(wǎng)絡(luò)中的和并得到最小target值：然后計(jì)算td_error，最后使用td_error更新Critic1網(wǎng)絡(luò)和Critic2網(wǎng)絡(luò)，其中，td_error的計(jì)算方法如下：

其中，λ為獎(jiǎng)勵(lì)函數(shù)值；γ為折扣因子；θ₁為評(píng)估網(wǎng)絡(luò)1的目標(biāo)網(wǎng)絡(luò)Critic1_Target的網(wǎng)絡(luò)參數(shù)，θ₂為評(píng)估網(wǎng)絡(luò)2的目標(biāo)網(wǎng)絡(luò)Critic2_Target的網(wǎng)絡(luò)參數(shù)，2個(gè)目標(biāo)網(wǎng)絡(luò)初始值不同，計(jì)算目標(biāo)Q值不同；

e、重復(fù)執(zhí)行d步驟完成深度強(qiáng)化模型的訓(xùn)練，得到關(guān)于負(fù)載分配和冷卻系統(tǒng)控制的最優(yōu)策略網(wǎng)絡(luò)模型。

2.根據(jù)權(quán)利要求1所述的基于深度強(qiáng)化學(xué)習(xí)的數(shù)據(jù)中心能耗優(yōu)化控制方法，其特征在于，所述b步驟中，狀態(tài)函數(shù)的計(jì)算方法為：狀態(tài)向量為天氣溫度T_outdoor(t)和數(shù)據(jù)中心總的負(fù)載量J(t)組成的元組：[天氣溫度T_outdoor(t)，數(shù)據(jù)中心總的負(fù)載量J(t)]。

3.根據(jù)權(quán)利要求2所述的基于深度強(qiáng)化學(xué)習(xí)的數(shù)據(jù)中心能耗優(yōu)化控制方法，其特征在于，所述b步驟中，動(dòng)作函數(shù)的計(jì)算方法為：動(dòng)作向量為數(shù)據(jù)中心每個(gè)區(qū)域的負(fù)載量j_i(t)和每個(gè)區(qū)域的冷卻點(diǎn)溫度組成的元組，動(dòng)作的個(gè)數(shù)由數(shù)據(jù)中心的區(qū)域個(gè)數(shù)決定，動(dòng)作向量包括以下2*n個(gè)動(dòng)作：[數(shù)據(jù)中心第i個(gè)區(qū)域的冷卻系統(tǒng)冷卻點(diǎn)溫度數(shù)據(jù)中心第i個(gè)區(qū)域的負(fù)載情況j_i(t)]。

4.根據(jù)權(quán)利要求3所述的基于深度強(qiáng)化學(xué)習(xí)的數(shù)據(jù)中心能耗優(yōu)化控制方法，其特征在于，所述b步驟中，獎(jiǎng)勵(lì)函數(shù)的計(jì)算方法為：獎(jiǎng)勵(lì)函數(shù)計(jì)算如下：其中m為動(dòng)作考慮延遲的時(shí)間步步數(shù)，k_j是當(dāng)前L_t值在r_t中所占的權(quán)重，r_t指的是當(dāng)前函數(shù)值，L_t是未來時(shí)間步的函數(shù)值，然后利用未來時(shí)間步占比當(dāng)前函數(shù)值的權(quán)重以及所延遲的時(shí)間步步數(shù)計(jì)算。