[發明專利]基于深度學習的服務功能鏈可靠性部署方法、系統及裝置

在審

• 申請號: 202310395959.9
• 申請日: 2023-04-13
• 公開（公告）號: CN116566829A
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 趙東昊;劉益岑;王路;盧昱;黃哲軒
• 申請（專利權）人: 中國人民解放軍陸軍工程大學
• 主分類號: H04L41/0895
• 分類號: H04L41/0895;H04L41/122;H04L41/16;H04L45/247;H04L45/76;G06N3/092
• 代理公司: 北京八月瓜知識產權代理有限公司 11543
• 代理人: 陳紅

本發明公開了一種基于深度學習的服務功能鏈可靠性部署方法、系統及裝置，所述方法包括，S1、獲取主拓撲最短路徑集合；S2、獲取主拓撲部署，根據主拓撲計算主拓撲可靠度；S3、根據所述主拓撲初始化有限狀態空間S、有限動作空間A和狀態轉移概率P，將初始化后的所述S、A和P輸入到CMAC?Q?Learning模型，S和P用于存儲Q?Learning迭代過程中產生的狀態?動作對；S4、計算值函數Q(ssubgt;t/subgt;,asubgt;t/subgt;)；S5、對算法運行條件進行判斷，若運行符合條件則執行S4，若不符合運行條件則執行S6。S6、將主拓撲部署和備份路徑部署輸出得到可靠服務功能鏈部署方案πs。本發明可以實現深度強化學習的服務功能鏈可靠性部署。

技術領域

本發明涉及服務功能鏈領域，尤其是涉及一種基于深度學習的服務功能鏈可靠性部署方法、系統及裝置。

背景技術

傳統運營商網絡功能是基于硬件的middlebox實現的，能夠達到“99.999％”的高可靠性服務需求。隨著網絡功能虛擬化(Network?Function?Virtualization，NFV)、虛擬網絡功能(Virtualized?Network?Function，VNF)技術的發展，未來運營商網絡功能逐漸被配置在x86服務器上的虛擬網絡功能替代。在基于網絡功能虛擬化的服務功能鏈部署架構中，底層物理網絡中服務器節點包含有大量數據，比如系統運行數據和簽約數據等。底層通用型設備一旦發生故障(虛擬機運行故障或者網絡功能自身配置錯誤)會導致映射在上面的服務功能鏈失效，甚至導致網絡癱瘓，無法保證租戶的服務質量，難以滿足高可靠性的電信級需求。因此，如何保證服務功能鏈的可靠性是底層物理設施提供商亟需解決的問題之一。

發明內容

本發明的目的在于提供一種基于深度學習的服務功能鏈可靠性部署方法、系統及裝置，旨在解決基于深度學習的服務功能鏈可靠性部署方法、系統及裝置。

本發明提供一種基于深度學習的服務功能鏈可靠性部署方法，包括：

S1、獲取主拓撲最短路徑集合；

S2、根據最短路徑集合獲取主拓撲部署，根據主拓撲計算主拓撲可靠度，并根據主拓撲可靠度判斷是否需要備份VNF選擇模型，若不需要備份VNF選擇模型，則完成服務功能鏈可靠性部署，若需要備份VNF選擇模型，繼續執行步驟；

S3、根據所述主拓撲初始化有限狀態空間S、有限動作空間A和狀態轉移概率P，將初始化后的所述S、A和P輸入到CMAC-Q-Learning模型，S和P用于存儲Q-Learning迭代過程中產生的狀態-動作對；

S4、計算值函數Q(s_t,a_t)；

S5、將值函數Q(s_t,a_t)輸入CMAC神經網絡，并通過表格查詢的方式，根據值函數Q(s_t,a_t)對CMAC神經網絡進行擬合，在局部鄰域內進行權值W更新和取值學習率α_W，對算法運行條件進行判斷，若運行符合條件則執行S4，若不符合運行條件則執行S6。

S6、根據行為策略計算得到最優的備份VNF個數B_N，基于聯合備份模型計算得到相應的備份鏈路B_E，根據計算資源、鏈路資源，時延和可靠性約束得到備份路徑部署，將主拓撲部署和備份路徑部署輸出得到可靠服務功能鏈部署方案π_s。

本發明還提供一種基于深度強化學習的服務功能鏈可靠性部署系統，包括，

獲取模塊，用于獲取主拓撲最短路徑集合；

部署模塊：用于根據最短路徑集合獲取主拓撲部署，根據主拓撲計算主拓撲可靠度，并根據主拓撲可靠度判斷是否需要備份VNF選擇模型，若不需要備份VNF選擇模型，則完成服務功能鏈可靠性部署，若需要備份VNF選擇模型，繼續執行步驟；