[發(fā)明專利]一種基于強(qiáng)化學(xué)習(xí)的智能電網(wǎng)切片分配方法

有效

• 申請?zhí)枺?/td>: 202110631286.3
• 申請日: 2021-06-07
• 公開（公告）號: CN113329414B
• 公開（公告）日: 2023-01-10
• 發(fā)明（設(shè)計(jì)）人: 范杰德;李苗苗;瞿曉宏;覃明月;張勝利;李俊軒;賴文聰;吳邦冰;陶峰;高翔
• 申請（專利權(quán)）人: 深圳聚創(chuàng)致遠(yuǎn)科技有限公司
• 主分類號: H04W16/22
• 分類號: H04W16/22;H04W12/069;H04W28/16;H04L41/0894;H04L41/14
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于強(qiáng)化學(xué)習(xí)的智能電網(wǎng)切片分配方法，其特征在于，該方法包括以下步驟：

S1、采集智能電網(wǎng)的電力業(yè)務(wù)信息，并根據(jù)不同電力業(yè)務(wù)的需求對所述電力業(yè)務(wù)進(jìn)行分類；

S2、按照所述電力業(yè)務(wù)的分類將電力業(yè)務(wù)與電網(wǎng)切片進(jìn)行匹配關(guān)聯(lián)；

S3、根據(jù)智能電網(wǎng)的服務(wù)指標(biāo)構(gòu)建智能電網(wǎng)切片的強(qiáng)化學(xué)習(xí)模型并進(jìn)行預(yù)訓(xùn)練；

S4、利用訓(xùn)練后的所述強(qiáng)化學(xué)習(xí)模型完成對智能電網(wǎng)切片的初始分配，獲取初始分配數(shù)據(jù)；

所述S3中的智能電網(wǎng)切片的強(qiáng)化學(xué)習(xí)模型通過sarsa算法進(jìn)行構(gòu)建；

所述sarsa算法是on-policy方法，所述sarsa算法包括原始策略和更新策略，所述原始策略和更新策略均使用ε-greedy算法；

S5、利用所在網(wǎng)絡(luò)用戶的需求完成對所述智能電網(wǎng)切片的二次分配，獲取二次分配數(shù)據(jù)；

S6、結(jié)合初始分配數(shù)據(jù)及二次分配數(shù)據(jù)獲取最終分配結(jié)果，并通過抗量子計(jì)算的通信方式給用戶分配適當(dāng)?shù)碾娋W(wǎng)切片資源；

所述S6包括以下步驟：

S61、利用優(yōu)先級分配原理整合初始分配數(shù)據(jù)及二次分配數(shù)據(jù)，獲取最終分配結(jié)果；

S62、依據(jù)最終的分配結(jié)果通過抗量子計(jì)算的通信方式給用戶分配適當(dāng)?shù)碾娋W(wǎng)切片資源；

所述S62包括以下步驟：

S621、利用預(yù)設(shè)方法構(gòu)建用戶代理與智能電網(wǎng)的服務(wù)器的服務(wù)代理之間的會話密鑰，并通過所述會話密鑰進(jìn)行保密通信；

S622、依據(jù)最終的分配結(jié)果利用保密通信的方式給用戶分配適當(dāng)?shù)碾娋W(wǎng)切片資源；

所述S621包括以下步驟：

S6211、所述用戶代理向服務(wù)器的服務(wù)代理發(fā)起連接請求，所述服務(wù)代理向用戶代理發(fā)送加密的數(shù)字證書；

S6212、所述用戶代理接收加密的數(shù)字證書并進(jìn)行解密驗(yàn)證，驗(yàn)證通過后確認(rèn)服務(wù)器的身份可靠；

S6213、所述用戶代理生成新的隨機(jī)數(shù)，取出服務(wù)器數(shù)字證書中的服務(wù)器公鑰，利用該服務(wù)器公鑰加密新的隨機(jī)數(shù)并發(fā)送給服務(wù)代理；

S6214、所述服務(wù)代理接收加密后的新的隨機(jī)數(shù)，使用自身私鑰解密得到新的隨機(jī)數(shù)，并將該新的隨機(jī)數(shù)作為與用戶代理之間的會話密鑰；

S6215、所述用戶代理與服務(wù)代理之間使用新的隨機(jī)數(shù)作為會話密鑰并進(jìn)行保密通信。

2.根據(jù)權(quán)利要求1所述的一種基于強(qiáng)化學(xué)習(xí)的智能電網(wǎng)切片分配方法，其特征在于，所述S1中電力業(yè)務(wù)的需求包括時延、速率及可靠性，所述電力業(yè)務(wù)的類別包括電網(wǎng)控制類、信息采集類和移動應(yīng)用類；所述電力業(yè)務(wù)信息還包括以下步驟：對采集的數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，實(shí)現(xiàn)對異常數(shù)據(jù)的清除。

3.根據(jù)權(quán)利要求1所述的一種基于強(qiáng)化學(xué)習(xí)的智能電網(wǎng)切片分配方法，其特征在于，所述S3中對強(qiáng)化學(xué)習(xí)模型進(jìn)行預(yù)訓(xùn)練還包括以下步驟：

對于訓(xùn)練不足的情況，通過增加網(wǎng)絡(luò)的訓(xùn)練周期來達(dá)到訓(xùn)練效果；

對于過度擬合的情況，通過減少或控制訓(xùn)練周期，在數(shù)據(jù)出現(xiàn)拐點(diǎn)前，停止對網(wǎng)絡(luò)的訓(xùn)練來達(dá)到訓(xùn)練效果。

4.根據(jù)權(quán)利要求1所述的一種基于強(qiáng)化學(xué)習(xí)的智能電網(wǎng)切片分配方法，其特征在于，所述S5中獲取二次分配數(shù)據(jù)包括以下步驟：

S51、利用所述用戶代理根據(jù)所在網(wǎng)絡(luò)用戶的請求向所述服務(wù)器請求網(wǎng)絡(luò)切片；

S52、所述服務(wù)器的服務(wù)代理根據(jù)不同的用戶代理請求實(shí)現(xiàn)對電網(wǎng)切片的二次分配，并生成二次分配數(shù)據(jù)。

5.根據(jù)權(quán)利要求1所述的一種基于強(qiáng)化學(xué)習(xí)的智能電網(wǎng)切片分配方法，其特征在于，所述S61包括以下步驟：

S611、為初始分配數(shù)據(jù)和二次分配數(shù)據(jù)設(shè)置優(yōu)先級，且二次分配數(shù)據(jù)的優(yōu)先級大于初始分配數(shù)據(jù)的優(yōu)先級；

S612、根據(jù)優(yōu)先級分配原理整合分配數(shù)據(jù)，當(dāng)出現(xiàn)二次分配數(shù)據(jù)時則以二次分配數(shù)據(jù)進(jìn)行分配，當(dāng)未出現(xiàn)二次分配數(shù)據(jù)時則以初始分配數(shù)據(jù)進(jìn)行分配；

S613、獲取最終的電網(wǎng)切片分配結(jié)果。