[發明專利]基于深度強化學習的服務功能鏈可靠部署方法

有效

• 申請號: 201911397560.4
• 申請日: 2019-12-30
• 公開（公告）號: CN111147307B
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 唐倫;曹睿;賀蘭欽;管令進;胡彥娟;陳前斌
• 申請（專利權）人: 重慶郵電大學
• 主分類號: H04L41/14
• 分類號: H04L41/14;H04L1/22
• 代理公司: 北京同恒源知識產權代理有限公司 11275
• 代理人: 趙榮之

本發明涉及一種基于深度強化學習的服務功能鏈可靠部署方法，屬于通信技術領域。該方法包括以下步驟：S1：基于設備使用度和周邊安全系數的可靠性度量方式得到可靠性值；S2：通過功能特性、拓撲特性初步確定每個虛擬網絡功能的可靠性需求；S3：求得滿足虛擬鏈路可靠性需求的鏈路可靠性需求可部署長度；S4：基于各個可靠性需求，使用深度強化學習尋找適合虛擬網絡環境和基層環境的最佳映射方案；S5：在映射過程中如VNF可靠性不能滿足，使用基于重要度的節點備份方法，鏈路部署結果不滿足鏈路可靠性，使用基于鏈路備份重要度的鏈路備份方法。本方法在保證可靠性需求的基礎上能夠有效應對基層故障，減少失效SFC數量，同時保證負載均衡使整個虛擬網絡更加穩定可靠。

技術領域

本發明屬于通信技術領域，涉及一種基于深度強化學習的服務功能鏈可靠部署方法。

背景技術

伴隨著云計算、大數據等技術的興起，人們在日常生活中越來越多地使用互聯網進行工作、購物、視頻等活動。這些技術給人們帶來便利的同時，也對網絡的性能和架構有了更多的要求。傳統的網絡結構缺乏靈活性，需要部署一系列的專用硬件設備來提供服務。從而各網絡功能組成了嚴格而僵硬的網絡功能鏈，其缺陷體現在網絡拓撲和服務提供元件的位置固定上，要修改網絡功能鏈就意味著修改網絡拓撲或者改變中間盒的連接。在提供新服務時，面臨著部署和升級物理基礎設施帶來的巨大投資成本和運營成本。網絡功能虛擬化作為一種源于工業的網絡體系結構，利用虛擬化技術為未來網絡設計提供了一種新的網絡設計思路，其主要思想是將網絡功能的軟件實現部分從底層的硬件中解耦并遷移到虛擬平臺上，通過軟件運行在符合工業標準的服務器、存儲器、交換機等通用硬件設備上實現傳統網絡專用硬件設備的功能。從而提供靈活的網絡功能部署，實現服務快速提供。目前，虛擬化網絡的整體框架己經比較明晰，但是虛擬網絡的構建機制，尤其是可靠性問題仍然阻礙著虛擬化網絡的工程化大規模實現和部署應用，有待于深入的研究和探索。

可靠性是衡量網絡應對故障的一種能力。隨著網絡的不斷擴大和復雜，網絡面臨的威脅也越來越多，為了保證提供給用戶服務的穩定性和安全性，避免帶給用戶不可挽回的損失，在發生自然和人為故障之后，網絡需要利用預防性技術或者是修復性技術減緩對網絡業務的損傷，使其仍然有能力提供一定的服務。

目前，在現有的關于可靠性技術方面，存在如下缺點：

首先，網絡可靠性的內涵由傳統的基于網絡拓撲結構的連通可靠性逐漸拓展到考慮網絡流的容量可靠性，并向基于業務等考慮用戶需求的性能可靠性延伸。因而現有的可靠性描述模型已不再準確。其次，現有基于可靠性映射的方案都只是簡單滿足整體可靠性需求，而忽略了不同虛擬網絡功能失效造成的損失各不相同，如何給每個虛擬網絡功能相應的可靠性，使其在減少SFC失效率的情況下，減少失效所造成的損失。另外，當前該類文獻的求解大多基于啟發式的方法，在減少復雜度的同時容易陷入局部最優解。

因此，如何根據當今網絡特征確定相應的可靠性模型，并且如何有效確定各個虛擬網絡功能(SFC)失效所造成的損失情況，并給予高損失VNF以高可靠性需求，同時智能高效的得到相應的部署方案，是值得研究的內容。

發明內容

有鑒于此，本發明的目的在于提供一種基于深度強化學習的服務功能鏈可靠部署方法，使部署結果滿足整體可靠性需求的前提下，減少失效概率及損失。

為達到上述目的，本發明提供如下技術方案：

一種基于深度強化學習的服務功能鏈可靠部署方法，該方法包括以下步驟：

S1：基于設備使用度和周邊安全系數的可靠性度量方式得到可靠性值；

S2：通過功能特性、拓撲特性初步確定每個虛擬網絡功能的可靠性需求；

S3：求得滿足虛擬鏈路可靠性需求的鏈路可靠性需求可部署長度；

S4：基于各個可靠性需求，使用深度強化學習尋找適合虛擬網絡環境和基層環境的最佳映射方案；