[發明專利]基于強化學習的低時延網絡切片方法

有效

• 申請號: 202110334767.8
• 申請日: 2021-03-29
• 公開（公告）號: CN113098714B
• 公開（公告）日: 2023-07-11
• 發明（設計）人: 朱洪波;高健;朱曉榮
• 申請（專利權）人: 南京郵電大學
• 主分類號: H04L41/0894
• 分類號: H04L41/0894;H04L41/0895;H04L41/16;H04L41/40;H04L41/0896;H04L41/0823;H04L41/14
• 代理公司: 南京蘇科專利代理有限責任公司 32102
• 代理人: 牛莉莉;周湛湛

本發明提出了一種基于深度強化學習的低時延網絡切片的方法，通過對網絡切片中低時延業務的時延約束條件以及服務功能和鏈路的映射條件構建了資源分配和路由的最優化問題；在進行求解的過程中，提出建立了該場景下的馬爾可夫模型,利用強化學習中的DDQN來求解在低時延網絡切片中的路由和資源分配的問題，在針對當前網絡狀態下所采取的動作則定義為每一條服務功能鏈下一跳的虛擬功能的部署，采取的動作集為前一跳節點的相鄰的節點集合，獎勵值則設置為與成功部署的服務功能鏈條數相關的函數。本發明在資源分配和和提升整個系統的成功部署服務的服務功能鏈數量以及整個系統資源的利用率等方面具有優越性。

技術領域

本發明設計了一種基于強化學習的低時延網絡切片方法，應用于核心網的低時延的服務功能鏈的部署，屬于信息通信技術領域。

背景技術

在5G時代，通信基礎架構正在從專用的網絡基礎設施轉移到每一個應用程序中，這樣各種各樣的應用和服務可以共享同一張網絡。特別地，網絡切片技術已經成為5G系統進行部署的關鍵技術，因為它允許運營商靈活地組織網絡資源，為用戶或者是第三方提供多樣性的服務。這一技術特點將會給運營商節省建設成本和運營成本。由于這些原因，提出了具有基于不同網段的切片方案：核心網切片，無線接入網切片，傳輸網切片。

網絡切片的概念是構建多個虛擬的邏輯網絡，以便在同一物理網絡上提供服務。網絡切片技術可以保證服務的差異化以及可以滿足服務水平協議。在網絡切片實現的過程中，要將對應的虛擬的邏輯網絡中的虛擬網絡功能放置到相應的通用硬件中，實現真正的物理功能。

在3GPP關于5G的應用場景中定義了三大場景，分別是增強型移動寬帶(eMBB)，超可靠和低延遲通信(uRLLC)和大規模機器類型通信(mMTC)，要想在一張網絡中能夠滿足上述不同的場景，網絡切片技術將作為主要的實現手段，如何高效的將需求部署到底層的設備中，為客戶提供優質的服務將會是網絡切片實現方案中的主要的難點。本發明，將對低時延業務場景下的傳輸網切片的路由和資源分配的問題進行深入的研究。我們將提出一種基于深度強化學習的新方法，用于在低時延切片場景下的動態路由和資源分配的方法。

發明內容

發明目的：本發明的目的是為核心網的低時延網絡切片提供基于強化學習的路由和資源分配的算法，有效地解決了在核心網中的資源分配和路由的問題。

技術方案：

一種基于強化學習的低時延網絡切片方法，包括以下步驟：

步驟1：首先構建物理網絡和服務功能鏈的數學模型，針對低時延的網絡切片的約束條件，對物理網絡中的每一條服務功能鏈進行建模，形成低時延網絡切片的數學模型；

步驟2：對當前物理網絡場景下的服務功能鏈進行馬爾可夫模型構建，定義當前場景下的狀態，動作，獎勵值等內容；

步驟3：提出基于強化學習的低時延網絡切片的路由和資源分配的算法。

進一步地，步驟1低時延網絡切片的數學模型建模如下：

把底層的物理網絡結構建模為有向圖G＝{N，E}，其中N表示的是底層物理節點集合，底層的網絡節點集合通過N＝{n₁，n₂，..，n_|N|}進行表示，n_x表示的是物理節點集合中的第x個物理節點(x∈{1，2，..，|N|})。在底層的物理節點n_x上都擁有計算、存儲等資源分別為E表示的是連接任意兩個物理節點之間的鏈路集合，鏈路(n_x，n_y)∈E的鏈路帶寬資源大小為