[發明專利]基于門限殘差網絡的虛擬現實設備集群帶寬分配裝置

有效

• 申請號: 201810463315.8
• 申請日: 2018-05-15
• 公開（公告）號: CN108683614B
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 景棟盛;楊鈺;薛勁松;朱斐
• 申請（專利權）人: 國網江蘇省電力有限公司蘇州供電分公司
• 主分類號: H04L12/911
• 分類號: H04L12/911;H04L29/08
• 代理公司: 蘇州翔遠專利代理事務所(普通合伙) 32251
• 代理人: 陸金星;姚惠菱

本發明公開了一種基于門限殘差網絡的虛擬現實設備集群帶寬分配裝置，包括用于輸出帶寬分配決策的控制系統和用于分配虛擬現實設備集群各節點帶寬的執行系統，分配裝置還包括用于獲取并輸出虛擬現實設備集群的帶寬信息的檢測系統，控制系統以檢測系統檢測的帶寬信息作為輸入和反饋，以執行系統執行的行動作為輸出，通過門限殘差網絡對獲得的帶寬信息進行高低維度轉換，通過策略網絡作出決策，通過評價網絡評價決策，計算網絡的損失后更新網絡的參數。本發明能夠有效地控制具有連續動作空間的面向具有多個虛擬現實設備的帶寬分配技術，能夠在無監督信號的情況下，自主學習更新神經網絡的參數，以使有限的帶寬達到最優分配。

技術領域

本發明涉及人工智能及控制技術領域，具體涉及一種基于門限殘差網絡的虛擬現實設備集群帶寬分配。

背景技術

虛擬現實技術是一種可以創建和體驗虛擬世界的計算機仿真系統，它利用計算機生成一種模擬環境，是一種多源信息融合的、交互式的三維動態視景和實體行為的仿真系統，使用戶沉浸到該環境中。目前，基于虛擬現實的體驗式交互模式開始得到大量的推廣，越來越多的基于虛擬現實的設備進入到各類公司、單位和教學機構中。隨著一個虛擬現實環境中連入的設備越來越多，需要分配的帶寬也不斷增加。

在很多虛擬現實的應用中，連入到虛擬現實系統的設備具有不確定性和動態性，系統很難預測設備何時連入，在連入期間所需帶寬的情況，設備何時退出；但是，目前多數虛擬現實系統中的帶寬分配裝置采用固定的分配方案，無法進行自主學習，不能根據實時情況實時調整帶寬分配方案，也無法根據連入設備對帶寬的實際要求情況做出合理的分配，因此，很難適應有大量虛擬現實連入設備系統中帶有不確定性和動態性帶寬使用特點的要求。如何對具有大量虛擬現實設備連入的系統進行有效的帶寬管理已成為迫切需要解決的問題。

發明內容

本發明的發明目的是提供一種基于門限殘差網絡的虛擬現實設備集群帶寬分配裝置，可以隨著用戶使用情況的不同，實時調整帶寬的分配，能夠通過自我學習適應不同的帶寬使用環境和隨著時間而改變的帶寬使用環境。

為實現上述發明目的，本發明提供以下的技術方案：一種基于門限殘差網絡的虛擬現實設備集群帶寬分配裝置，包括用于輸出帶寬分配決策的控制系統和用于分配虛擬現實設備集群各節點帶寬的執行系統，

其中，所述分配裝置還包括用于獲取并輸出虛擬現實設備集群的帶寬信息的檢測系統，所述控制系統以所述檢測系統檢測的帶寬信息作為輸入和反饋，以所述執行系統執行的行動作為輸出，通過門限殘差網絡對獲得的帶寬信息進行高低維度轉換，通過策略網絡作出決策，通過評價網絡評價決策，計算網絡的損失后更新網絡的參數；

所述控制系統通過如下方法作出決策：

步驟1、初始化各網絡的參數和強化學習算法的參數；

步驟2、獲取虛擬現實設備集群的當前帶寬信息并通過所述門限殘差網絡將所獲取的高維度帶寬信息轉換為低維度特征信息，所述帶寬信息包括帶寬上限信息、帶寬傳輸速率信息以及帶寬產生速率信息；

步驟3、以當前狀態s_t作為輸入，通過所述策略網絡計算采取并輸出當前行動a_t，獲得下一狀態s_t+1和立即獎賞r_t，

其中，當前狀態s_t為帶寬分配前虛擬現實設備集群的特征信息；

當前行動a_t為帶寬分配時虛擬現實設備集群各節點增加或減少帶寬分配；

下一狀態s_t+1為帶寬分配后虛擬現實設備集群的特征信息；