[發(fā)明專利]一種改進(jìn)雙深度Q網(wǎng)絡(luò)的服務(wù)功能鏈部署方法

在審

• 申請?zhí)枺?/td>: 202310276957.8
• 申請日: 2023-03-21
• 公開（公告）號: CN116389255A
• 公開（公告）日: 2023-07-04
• 發(fā)明（設(shè)計(jì)）人: 宣賀君;曾召霞;魏丁二;劉道華;趙學(xué)林;寇麗博
• 申請（專利權(quán)）人: 信陽師范學(xué)院
• 主分類號: H04L41/0823
• 分類號: H04L41/0823;H04L41/0273;H04L41/5054
• 代理公司: 鄭州博駿知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 41222
• 代理人: 樊超越

1.一種改進(jìn)雙深度Q網(wǎng)絡(luò)的服務(wù)功能鏈部署方法，其特征在于，包括以下步驟：

S1、系統(tǒng)初始化，包括對底層物理網(wǎng)絡(luò)的選擇和對服務(wù)功能鏈的定義；

S2、建立底層物理資源和鏈路資源約束條件，使得服務(wù)功能鏈在底層物理資源和鏈路資源允許的范圍內(nèi)得到最優(yōu)的SFC部署方案；

S3、對問題進(jìn)行分析，得到所需解決的問題公式；

S4、為捕捉網(wǎng)絡(luò)狀態(tài)的動態(tài)變化，將SFC部署問題建立為馬爾可夫決策過程模型；

S5、根據(jù)網(wǎng)絡(luò)狀態(tài)和動作獎(jiǎng)勵(lì)，對雙深度Q網(wǎng)絡(luò)進(jìn)行在線訓(xùn)練，得到SFC的最優(yōu)部署策略。

2.根據(jù)權(quán)利要求1所述一種改進(jìn)雙深度Q網(wǎng)絡(luò)的服務(wù)功能鏈部署方法，其特征在于，在步驟S1中，所述底層物理網(wǎng)絡(luò)和服務(wù)功能鏈按照以下步驟實(shí)施：

S11、將物理網(wǎng)絡(luò)表示為一個(gè)無向圖G＝(V,E)，其中V＝{v₁,v₂,...,v_N}表示通用物理服務(wù)器集合，E(e₁,e₂,...,e_N)表示物理鏈路集合，每臺服務(wù)器v∈V的可用物理資源總量表示為每臺服務(wù)器在資源充足的條件下可部署多個(gè)VNF；

S12、用Q表示服務(wù)功能鏈請求集合，第i條服務(wù)功能鏈表示為有向圖G_i＝(V_i,L_i)，其中V_i表示SFC中有序排列的VNFs集合，L_i表示連接相鄰VNF的虛擬鏈路集合；

S13、對于SFC請求V_i表示為V_i＝{v_i,1,v_i,2,…,v_i,j,...}，其中v_i,j表示SFC請求i中第j個(gè)VNF，|V_i|表示服務(wù)功能鏈長度，服務(wù)功能鏈中每個(gè)VNF所需要的物理資源表示為

3.根據(jù)權(quán)利要求2所述一種改進(jìn)雙深度Q網(wǎng)絡(luò)的服務(wù)功能鏈部署方法，其特征在于，在步驟S2中，具體按照以下步驟實(shí)施：

S21、定義一個(gè)二進(jìn)制變量來表示第i條SFC中第j個(gè)VNF是否成功部署到物理服務(wù)器上，如果其成功部署到服務(wù)器v∈V上，否則

S22、為確保每個(gè)VNF只能部署到一臺物理服務(wù)器上，需要滿足：

S23、在資源充足時(shí)每臺服務(wù)器可部署多個(gè)VNF，但其所消耗的物理資源不能超過當(dāng)前物理服務(wù)器可用物理資源總量，則滿足不等式:

S24、使用表示服務(wù)功能鏈中L_i成功部署到底層物理鏈路e∈E上，反之物理鏈路帶寬資源必須大于或等于使用該鏈路的服務(wù)功能鏈所需帶寬資源，則滿足不等式：

S25、還需滿足不等式：其中d_i表示SFC請求的總傳輸時(shí)延，D_z表示SFC可容忍的最大時(shí)延。

4.根據(jù)權(quán)利要求3所述一種改進(jìn)雙深度Q網(wǎng)絡(luò)的服務(wù)功能鏈部署方法，其特征在于，在步驟B4中，所述B_e表示物理鏈路e∈E可用帶寬資源，所述B_i表示SFC所需帶寬資源。

5.根據(jù)權(quán)利要求3所述一種改進(jìn)雙深度Q網(wǎng)絡(luò)的服務(wù)功能鏈部署方法，其特征在于，在步驟B5中，所述D_u,v表示鏈接相鄰服務(wù)器u∈V和v∈V之間的傳輸時(shí)延。

6.根據(jù)權(quán)利要求1所述一種改進(jìn)雙深度Q網(wǎng)絡(luò)的服務(wù)功能鏈部署方法，其特征在于，在步驟S3中，具體按照以下步驟實(shí)施：

S31、將網(wǎng)絡(luò)服務(wù)器能耗定義為服務(wù)器處于開啟狀態(tài)下部署VNF操作產(chǎn)生的能耗和部署VNF之后服務(wù)器處于待機(jī)狀態(tài)下產(chǎn)生的能耗之和，將其表示為：

其中，E_i,j表示部署VNF所產(chǎn)生的能耗，為一個(gè)二元變量，表示在時(shí)刻t服務(wù)器處于待機(jī)狀態(tài)，η_v∈{0,1}表示部署VNF后服務(wù)器待機(jī)時(shí)所占能耗的百分比，s_v表示服務(wù)器最大待機(jī)時(shí)間。

7.根據(jù)權(quán)利要求1所述一種改進(jìn)雙深度Q網(wǎng)絡(luò)的服務(wù)功能鏈部署方法，其特征在于，在步驟S4中，具體按照以下步驟實(shí)施：

S41、馬爾可夫決策過程模型用元組表示為{S,A,P,R,γ},其中S表示狀態(tài)集合，A表示動作集合，P為狀態(tài)轉(zhuǎn)移概率，R為獎(jiǎng)勵(lì)函數(shù)，γ∈[0,1]為折扣因子；

S42、狀態(tài)空間由底層物理網(wǎng)絡(luò)狀態(tài)與SFC請求狀態(tài)共同決定；

S43、動作空間為SFC的部署過程中VNF放置方式的選擇；

S44、狀態(tài)轉(zhuǎn)移概率為在某個(gè)狀態(tài)s_t下執(zhí)行部署VNF的操作后，將以一定的概率變?yōu)橐粋€(gè)新的狀態(tài)s_t+1：

S45、獎(jiǎng)勵(lì)函數(shù)為違反時(shí)延約束所受懲罰和部署過程中產(chǎn)生的能耗視為懲罰作為系統(tǒng)支出共同構(gòu)成：