[發明專利]一種基于深度確定性策略梯度的虛擬網絡映射方法

在審

• 申請號: 202110475268.0
• 申請日: 2021-04-29
• 公開（公告）號: CN113193999A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 宗悅;于堯;徐天明;郭磊
• 申請（專利權）人: 東北大學
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L12/721
• 代理公司: 大連東方專利代理有限責任公司 21212
• 代理人: 王思宇;李洪福

本發明提供一種基于深度確定性策略梯度的虛擬網絡映射方法，包括以下步驟：S1：將虛擬網絡映射問題建模為馬爾科夫過程；S2：對當前網絡狀態，使用深度確定性策略梯度算法進行物理節點的選擇，進行虛擬節點映射；S3：對步驟S2中映射的虛擬節點相鄰的虛擬鏈路使用最短路徑算法進行鏈路映射，并在進行鏈路映射時滿足虛擬鏈路的時延要求；S4：返回當前網絡狀態對應的獎勵值及下一個網絡狀態，將經驗存儲到經驗庫中；深度確定性策略梯度算法智能體從經驗庫中抽取一批經驗進行訓練，對深度確定性策略梯度算法中目標網絡的參數進行更新。本發明解決了現有技術中的在大規模網絡上進行虛擬資源分配時資源利用率有限、不夠智能的問題。

技術領域

本發明涉及通信領域與強化學習技術領域，具體而言，尤其涉及一種基于深度確定性策略梯度的虛擬網絡映射方法。

背景技術

隨著5G新型的AR/VR、在線游戲、視頻渲染等高帶寬低時延等業務的產生，云計算和移動互聯網的高速發展，未來移動數據流量將出現爆炸式增長，聯網設備越來越多且越來越智能，數據量和數據節點不斷增加，不僅會占用大量網絡帶寬，而且會增加核心光網絡的負擔，現有的網絡規模及技術不足以支撐流量的爆炸式增長及用戶的要求。網絡虛擬化是一種有效解決網絡僵化的問題的方法，是未來互聯網的關鍵特性之一。網絡虛擬化可以將服務運營商與基礎設施提供商解耦，可以實現多租戶，多服務的資源共享，為用戶提供差異化服務。

虛擬網絡映射是實現網絡虛擬化資源分配的一個重要挑戰，能夠實現將底層網絡資源分配給虛擬網絡請求。對于光數據中心網絡的虛擬網絡映射，即在數據中心節點分配計算資源，在光纖鏈路上分配帶寬資源，同時要滿足用戶對于節點位置、鏈路時延等約束。現有的基于深度強化學習的方法(如深度Q學習)無法解決高維度的狀態空間或大規模的動作空間的動態虛擬網絡映射決策問題。深度Q學習算法在選擇節點映射策略的過程，可能會導致過優估計，從而映射到整體的虛擬網絡映射方案，導致整體的網絡性能變差。

發明內容

為了解決在大規模網絡上進行虛擬資源分配時資源利用率有限、不夠智能的問題，而提供一種基于深度確定性策略梯度的虛擬網絡映射方法，采用深度確定性策略梯度強化學習框架，通過智能體與物理網絡和請求環境中交互學習，獲得每次映射的獎勵值，從而優化下一次動作的算法，使整體的大規模虛擬網絡請求達到最優映射，最大化基礎設施服務提供商的長期收益。

本發明采用的技術手段如下：

一種基于深度確定性策略梯度的虛擬網絡映射方法，包括以下步驟：

S1：將虛擬網絡映射問題建模為馬爾科夫過程；

S2：對當前網絡狀態，使用深度確定性策略梯度算法進行物理節點的選擇，進行虛擬節點映射；

S3：對步驟S2中映射的虛擬節點相鄰的虛擬鏈路使用最短路徑算法進行鏈路映射，并在進行鏈路映射時滿足虛擬鏈路的時延要求；

S4：返回當前網絡狀態對應的獎勵值及下一個網絡狀態，將經驗存儲到經驗庫中，經驗包括當前網絡狀態、當前網絡狀態對應的獎勵值和下一個網絡狀態；深度確定性策略梯度算法智能體從經驗庫中抽取一批經驗進行訓練，對深度確定性策略梯度算法中目標網絡的參數進行更新，直到對所有虛擬網絡請求映射到達設定的最大學習回合，得到最優的映射分配方案。

進一步地，步驟S1具體包括以下步驟：

S1-1：將虛擬網絡映射問題建模成馬爾科夫過程其中，表示狀態空間，表示動作空間，表示獎勵函數，表示轉移概率，γ∈[0,1]表示折扣因子；馬爾科夫過程中，通過智能體與環境交互來獲得最大的平均獎勵值其中，r(s_t,a_t)表示在t時刻的狀態s_t執行動作a_t之后的獎勵值；智能體的目標是找到最優策略π^*來最大化平均獎勵值，s表示狀態，a表示動作；

S1-2：定義狀態空間