[發(fā)明專(zhuān)利]基于門(mén)限殘差網(wǎng)絡(luò)的虛擬現(xiàn)實(shí)設(shè)備集群帶寬分配裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201810463315.8
• 申請(qǐng)日: 2018-05-15
• 公開(kāi)（公告）號(hào): CN108683614B
• 公開(kāi)（公告）日: 2021-11-09
• 發(fā)明（設(shè)計(jì)）人: 景棟盛;楊鈺;薛勁松;朱斐
• 申請(qǐng)（專(zhuān)利權(quán)）人: 國(guó)網(wǎng)江蘇省電力有限公司蘇州供電分公司
• 主分類(lèi)號(hào): H04L12/911
• 分類(lèi)號(hào): H04L12/911;H04L29/08
• 代理公司: 蘇州翔遠(yuǎn)專(zhuān)利代理事務(wù)所(普通合伙) 32251
• 代理人: 陸金星;姚惠菱

1.一種基于門(mén)限殘差網(wǎng)絡(luò)的虛擬現(xiàn)實(shí)設(shè)備集群帶寬分配裝置，包括用于輸出帶寬分配決策的控制系統(tǒng)和用于分配虛擬現(xiàn)實(shí)設(shè)備集群各節(jié)點(diǎn)帶寬的執(zhí)行系統(tǒng)，

其特征在于，所述分配裝置還包括用于獲取并輸出虛擬現(xiàn)實(shí)設(shè)備集群的帶寬信息的檢測(cè)系統(tǒng)，所述控制系統(tǒng)以所述檢測(cè)系統(tǒng)檢測(cè)的帶寬信息作為輸入和反饋，以所述執(zhí)行系統(tǒng)執(zhí)行的行動(dòng)作為輸出，通過(guò)門(mén)限殘差網(wǎng)絡(luò)對(duì)獲得的帶寬信息進(jìn)行高低維度轉(zhuǎn)換，通過(guò)策略網(wǎng)絡(luò)作出決策，通過(guò)評(píng)價(jià)網(wǎng)絡(luò)評(píng)價(jià)決策，計(jì)算網(wǎng)絡(luò)的損失后更新網(wǎng)絡(luò)的參數(shù)；

所述控制系統(tǒng)通過(guò)如下方法作出決策：

步驟1、初始化各網(wǎng)絡(luò)的參數(shù)和強(qiáng)化學(xué)習(xí)算法的參數(shù)；

步驟2、獲取虛擬現(xiàn)實(shí)設(shè)備集群的當(dāng)前帶寬信息并通過(guò)所述門(mén)限殘差網(wǎng)絡(luò)將所獲取的高維度帶寬信息轉(zhuǎn)換為低維度特征信息，所述帶寬信息包括帶寬上限信息、帶寬傳輸速率信息以及帶寬產(chǎn)生速率信息；

步驟3、以當(dāng)前狀態(tài)s_t作為輸入，通過(guò)所述策略網(wǎng)絡(luò)計(jì)算并輸出當(dāng)前行動(dòng)a_t，獲得下一狀態(tài)s_t+1和立即獎(jiǎng)賞r_t，

其中，當(dāng)前狀態(tài)s_t為帶寬分配前虛擬現(xiàn)實(shí)設(shè)備集群的特征信息；

當(dāng)前行動(dòng)a_t為帶寬分配時(shí)虛擬現(xiàn)實(shí)設(shè)備集群各節(jié)點(diǎn)增加或減少帶寬分配；

下一狀態(tài)s_t+1為帶寬分配后虛擬現(xiàn)實(shí)設(shè)備集群的特征信息；

立即獎(jiǎng)賞r_t為帶寬分配后虛擬現(xiàn)實(shí)設(shè)備集群帶寬信息的傳輸速度tv₁與產(chǎn)生速度tv₂的差值的絕對(duì)值的負(fù)值，即r_t＝-|tv₁-tv₂|；

步驟4、以當(dāng)前狀態(tài)s_t作為輸入，通過(guò)所述評(píng)價(jià)網(wǎng)絡(luò)計(jì)算強(qiáng)化學(xué)習(xí)算法評(píng)價(jià)函數(shù)V(s_t)的值；

步驟5、計(jì)算控制系統(tǒng)整個(gè)網(wǎng)絡(luò)模型的總損失，判斷當(dāng)前行動(dòng)a_t所屬步數(shù)是否超過(guò)設(shè)定步數(shù)，如是，則更新所述門(mén)限殘差網(wǎng)絡(luò)、所述策略網(wǎng)絡(luò)以及所述評(píng)價(jià)網(wǎng)絡(luò)的參數(shù)，如否，則更新所述策略網(wǎng)絡(luò)以及所述評(píng)價(jià)網(wǎng)絡(luò)的參數(shù)；

步驟6、判斷當(dāng)前帶寬利用率和帶寬傳輸效率是否超過(guò)預(yù)設(shè)值，如是，則停止訓(xùn)練，如否，則返回步驟3繼續(xù)循環(huán)訓(xùn)練。

2.根據(jù)權(quán)利要求1所述的虛擬現(xiàn)實(shí)設(shè)備集群帶寬分配裝置，其特征在于，所述控制系統(tǒng)為本地控制系統(tǒng)，在本地完成控制操作。

3.根據(jù)權(quán)利要求1所述的虛擬現(xiàn)實(shí)設(shè)備集群帶寬分配裝置，其特征在于，所述控制系統(tǒng)通過(guò)所述檢測(cè)系統(tǒng)向所述執(zhí)行系統(tǒng)傳遞分配指令。

4.根據(jù)權(quán)利要求1所述的虛擬現(xiàn)實(shí)設(shè)備集群帶寬分配裝置，其特征在于，步驟1中，所述門(mén)限殘差網(wǎng)絡(luò)的參數(shù)的初始化值為通過(guò)監(jiān)督學(xué)習(xí)方法提前訓(xùn)練的一個(gè)可用參數(shù)。

5.根據(jù)權(quán)利要求1所述的虛擬現(xiàn)實(shí)設(shè)備集群帶寬分配裝置，其特征在于，步驟2中，采用153層門(mén)限殘差網(wǎng)絡(luò)進(jìn)行帶寬信息的高低維度轉(zhuǎn)換，門(mén)限殘差網(wǎng)絡(luò)由4類(lèi)共50個(gè)門(mén)限殘差塊組成，每個(gè)門(mén)限殘差塊由三層卷積層、一個(gè)門(mén)限機(jī)制以及一次跳躍連接組成，其中三層卷積層的卷積核大小分別為1×1、3×3及1×1，在第一層和最后一層卷積層之后分別進(jìn)行最大池化和平均池化。

6.根據(jù)權(quán)利要求1所述的虛擬現(xiàn)實(shí)設(shè)備集群帶寬分配裝置，其特征在于，步驟3中，所述策略網(wǎng)絡(luò)由兩層隱藏層和一層輸出層組成，所述隱藏層包含兩層長(zhǎng)短期記憶網(wǎng)絡(luò)層，兩層所述長(zhǎng)短期記憶網(wǎng)絡(luò)層的神經(jīng)元個(gè)數(shù)分別是256和256，所述輸出層的神經(jīng)元個(gè)數(shù)為行動(dòng)空間的維度。

7.根據(jù)權(quán)利要求1所述的虛擬現(xiàn)實(shí)設(shè)備集群帶寬分配裝置，其特征在于，步驟4中，所述評(píng)價(jià)網(wǎng)絡(luò)由兩層隱藏層和一層輸出層組成，所述隱藏層包含兩層長(zhǎng)短期記憶網(wǎng)絡(luò)層，兩層所述長(zhǎng)短期記憶網(wǎng)絡(luò)層的神經(jīng)元個(gè)數(shù)分別為256和256，所述輸出層包含一個(gè)神經(jīng)元。