[發明專利]一種面向5G超密集網絡的計算資源管理方法及裝置

在審

• 申請號: 202110937706.0
• 申請日: 2021-08-16
• 公開（公告）號: CN113747507A
• 公開（公告）日: 2021-12-03
• 發明（設計）人: 陳昕;郭東超;馬卓;劉智勇
• 申請（專利權）人: 北京信息科技大學
• 主分類號: H04W28/16
• 分類號: H04W28/16;G06N3/08;H04W24/02;H04W28/22
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王毅

本申請提供一種面向5G超密集網絡的計算資源管理方法及裝置，方法包括：獲取當前時隙的系統狀態；系統狀態包括所有用戶設備的計算任務數據量和當前邊緣服務器剩余計算資源總量；將系統狀態輸入至深度強化學習模型中，得到系統動作；系統動作包括用戶設備的卸載決策和邊緣服務器協作的計算資源分配策略；卸載決策用于確定用戶卸載到邊緣服務器的任務數據量大小，邊緣服務器協作的計算資源分配策略表示邊緣服務器根據系統當前時隙所剩余的計算資源總量，為其服務的用戶設備分配的計算資源。有效解決了在多服務器密集部署的超密集網絡環境下的資源管理問題，最小化任務處理時延，進一步提高了用戶的體驗質量。

技術領域

本申請涉及邊緣計算資源分配領域，具體涉及一種面向5G超密集網絡的計算資源管理方法及裝置。

背景技術

在智能設備和第五代移動通信技術5G(fifith-generation)快速發展的推動下，工業物聯網、無人駕駛和智慧消防等各種復雜的服務與新興業務不斷涌現。在愈加復雜的網絡場景中，用戶設備會不斷地產生不同類型的任務，導致大量數據流量。所產生的任務數據需要得到及時、可靠和高效的處理。一般來說，用戶設備的計算能力與電池容量等資源是非常有限的。為解決用戶設備資源受限的問題，可將任務卸載到邊緣服務器以高效執行。在更高計算能力需求的促使下，邊緣服務器的部署方式與5G超密集網絡的結合更為緊密，集中式的邊緣服務器部署正朝分布式部署的方向演進。對于各種計算密集型應用程序來說，將部分任務卸載到網絡邊緣，可以有效地降低延遲，提升用戶體驗。

目前，在結合移動邊緣計算的5G超密集網絡中，由于各種設備的致密性和系統資源的多樣性，使得網絡環境變得更加復雜。然而，傳統的邊緣服務器資源分配方案只考慮當前邊緣服務器的計算能力，當其剩余的計算資源無法支持當前的任務計算時，所造成的任務邊緣計算時延將無法滿足用戶的需求。

發明內容

由于現有方法存在上述問題，本申請實施例提供一種面向5G超密集網絡的計算資源管理方法及裝置。

具體的，本申請實施例提供了以下技術方案：

第一方面，本申請實施例提供了一種面向5G超密集網絡的計算資源管理方法，包括：

獲取當前時隙的系統狀態；所述系統狀態包括所有用戶設備的計算任務數據量和當前邊緣服務器剩余計算資源總量；

將所述系統狀態輸入至深度強化學習模型中，得到系統動作；所述系統動作包括用戶設備的卸載決策和邊緣服務器協作的計算資源分配策略；其中，所述卸載決策用于確定用戶卸載到邊緣服務器的任務數據量大小，所述邊緣服務器協作的計算資源分配策略表示邊緣服務器根據系統當前時隙所剩余的計算資源總量，為其服務的用戶設備分配的計算資源；

其中，所述深度強化學習模型的訓練過程如下：

步驟1，針對當前時隙的系統狀態，包括所有用戶設備的計算任務數據量和當前邊緣服務器剩余計算資源總量，根據當前深度神經網絡參數決策出系統動作，并計算得到當前狀態的即時獎勵，以及下一時隙邊緣服務器剩余計算資源總量；

步驟2，將當前時隙的系統狀態、做出的動作決策、即時獎勵和下一時隙的系統狀態存儲到經驗回放池中；所述下一時隙的系統狀態包括所有用戶設備的計算任務數據量和下一時隙邊緣服務器剩余計算資源總量；

步驟3，隨機從經驗回放池中抽取一小批數據輸入到深度神經網絡中進行訓練，更新深度神經網絡參數，修正做出的動作決策；

步驟4，當計算得到的即時獎勵完成收斂時，得到每個時隙的資源管理方案，結束模型訓練。

可選的，所述即時獎勵為所有用戶設備完成計算任務的平均時延，所完成計算任務的平均時延根據下面第一公式計算得到：