[發明專利]一種面向5G超密集網絡的計算資源管理方法及裝置

在審

• 申請號: 202110937706.0
• 申請日: 2021-08-16
• 公開（公告）號: CN113747507A
• 公開（公告）日: 2021-12-03
• 發明（設計）人: 陳昕;郭東超;馬卓;劉智勇
• 申請（專利權）人: 北京信息科技大學
• 主分類號: H04W28/16
• 分類號: H04W28/16;G06N3/08;H04W24/02;H04W28/22
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王毅

1.一種面向5G超密集網絡的計算資源管理方法，其特征在于，包括：

獲取當前時隙的系統狀態；所述系統狀態包括所有用戶設備的計算任務數據量和當前邊緣服務器剩余計算資源總量；

將所述系統狀態輸入至深度強化學習模型中，得到系統動作；所述系統動作包括用戶設備的卸載決策和邊緣服務器協作的計算資源分配策略；其中，所述卸載決策用于確定用戶卸載到邊緣服務器的任務數據量大小，所述邊緣服務器協作的計算資源分配策略表示邊緣服務器根據系統當前時隙所剩余的計算資源總量，為其服務的用戶設備分配的計算資源；

其中，所述深度強化學習模型的訓練過程如下：

步驟1，針對當前時隙的系統狀態，包括所有用戶設備的計算任務數據量和當前邊緣服務器剩余計算資源總量，根據當前深度神經網絡參數決策出系統動作，并計算得到當前狀態的即時獎勵，以及下一時隙邊緣服務器剩余計算資源總量；

步驟2，將當前時隙的系統狀態、做出的動作決策、即時獎勵和下一時隙的系統狀態存儲到經驗回放池中；所述下一時隙的系統狀態包括所有用戶設備的計算任務數據量和下一時隙邊緣服務器剩余計算資源總量；

步驟3，隨機從經驗回放池中抽取一小批數據輸入到深度神經網絡中進行訓練，更新深度神經網絡參數，修正做出的動作決策；

步驟4，當計算得到的即時獎勵完成收斂時，得到每個時隙的資源管理方案，結束模型訓練。

2.根據權利要求1所述的面向5G超密集網絡的計算資源管理方法，其特征在于，所述即時獎勵為所有用戶設備完成計算任務的平均時延，所完成計算任務的平均時延根據下面第一公式計算得到：

其中，r(t)為完成計算任務的平均時延，為任務在用戶u本地的計算時延，為用戶u卸載的任務量傳輸至邊緣服務器n的傳輸時延，為邊緣服務器n處理用戶u的卸載任務的邊緣計算時延。

3.根據權利要求2所述的面向5G超密集網絡的計算資源管理方法，其特征在于，根據下面第二公式計算任務在用戶本地的計算時延，所述第二公式為：

其中，a_u，n(t)為用戶u的卸載決策，即用戶u卸載到邊緣服務器計算的任務量大小，S_u,n(t)為用戶u在t時隙生成的計算任務數據量，為計算單位比特任務所需的CPU周期數，為邊緣服務器n服務的第u個用戶單位時間的CPU周期數。

4.根據權利要求2所述的面向5G超密集網絡的計算資源管理方法，其特征在于，根據下面第三公式計算任務在用戶本地卸載后傳輸至邊緣服務器的傳輸時延，所述第三公式為：

其中，a_u,n(t)為用戶u的卸載決策，r_u,n(t)為用戶的上行傳輸速率。

5.根據權利要求2所述的面向5G超密集網絡的計算資源管理方法，其特征在于，根據下面第四公式計算任務的邊緣計算時延，所述第四公式為：

其中，a_u,n(t)為用戶u的卸載決策，f_u,n(t)為邊緣服務器根據系統當前時隙所剩余的計算資源總量，為用戶設備分配的計算資源。

6.根據權利要求1所述的面向5G超密集網絡的計算資源管理方法，其特征在于，根據下面第五公式計算執行當前所述系統動作后系統所剩余的計算資源總量，所述第五公式為：

其中，f(t+1)為下一時隙開始時系統所剩余的計算資源總量，f^re(t)為當前時隙內完成計算任務所釋放的計算資源，f_u,n(t)為邊緣服務器根據系統當前時隙所剩余的計算資源總量，為用戶設備分配的計算資源，f(t)為當前時隙開始時系統所剩余的計算資源總量。