[發明專利]基于深度學習的服務功能鏈可靠性部署方法、系統及裝置

在審

• 申請號: 202310395959.9
• 申請日: 2023-04-13
• 公開（公告）號: CN116566829A
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 趙東昊;劉益岑;王路;盧昱;黃哲軒
• 申請（專利權）人: 中國人民解放軍陸軍工程大學
• 主分類號: H04L41/0895
• 分類號: H04L41/0895;H04L41/122;H04L41/16;H04L45/247;H04L45/76;G06N3/092
• 代理公司: 北京八月瓜知識產權代理有限公司 11543
• 代理人: 陳紅

1.一種基于深度強化學習的服務功能鏈可靠性部署方法，其特征在于，包括，

S1、獲取主拓撲最短路徑集合；

S2、根據最短路徑集合獲取主拓撲部署，根據主拓撲計算主拓撲可靠度，并根據主拓撲可靠度判斷是否需要備份VNF選擇模型，若不需要備份VNF選擇模型，則完成服務功能鏈可靠性部署，若需要備份VNF選擇模型，繼續執行步驟；

S3、根據所述主拓撲初始化有限狀態空間S、有限動作空間A和狀態轉移概率P，將初始化后的所述S、A和P輸入到CMAC-Q-Learning模型，S和P用于存儲Q-Learning迭代過程中產生的狀態-動作對；

S4、計算值函數Q(s_t,a_t)；

S5、將值函數Q(s_t,a_t)輸入CMAC神經網絡，并通過表格查詢的方式，根據值函數Q(s_t,a_t)對CMAC神經網絡進行擬合，在局部鄰域內進行權值W更新和取值學習率α_W，對算法運行條件進行判斷，若運行符合條件則執行S4，若不符合運行條件則執行S6。

S6、根據行為策略計算得到最優的備份VNF個數B_N，基于聯合備份模型計算得到相應的備份鏈路B_E，根據計算資源、鏈路資源、時延和可靠性約束得到備份路徑部署，將主拓撲部署和備份路徑部署輸出得到可靠服務功能鏈部署方案π_s。

2.根據權利要求1所述的方法，其特征在于，所述S1具體包括：采用K-Dijkstra算法計算從節點n_i到n_e的最短路徑集合P，根據網絡時延將集合P按照降序的方式排列，記為集合記為E＝{e₁,e₂,…,e_k}，E為主拓撲最短路徑集合。

3.根據權利要求2所述的方法，其特征在于，所述S2具體包括：以端到端時延最小化為目標從集合E中選擇最短路徑D，將服務功能鏈請求t中所有VNF映射最短路徑D，形成一條主拓撲，計算主拓撲可靠度，若服務功能鏈可靠度大于等于服務功能鏈請求的最低可靠性需求，則無需備份VNF，算法結束，否則跳轉至S3。