[發(fā)明專利]一種基于環(huán)境感知的服務(wù)功能鏈低成本智能部署方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911399761.8
• 申請(qǐng)日: 2019-12-30
• 公開（公告）號(hào): CN111093203B
• 公開（公告）日: 2022-04-29
• 發(fā)明（設(shè)計(jì)）人: 唐倫;王曉;賀小雨;陳前斌
• 申請(qǐng)（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號(hào): H04W16/10
• 分類號(hào): H04W16/10;H04W16/22;H04W24/02
• 代理公司: 北京同恒源知識(shí)產(chǎn)權(quán)代理有限公司 11275
• 代理人: 趙榮之

1.一種基于環(huán)境感知的服務(wù)功能鏈低成本智能部署方法，其特征在于：該方法包括以下步驟：

S1：以用戶無線端可達(dá)的無線速率作為SFC資源分配的依據(jù)，聯(lián)合考慮SFC部署與無線子載波分配，建立在用戶時(shí)延要求、無線速率需求以及資源約束下的SFC部署成本最小化模型；

網(wǎng)絡(luò)模型由分布式核心網(wǎng)高性能通用服務(wù)器、物理鏈路和SBS組成，SBS表示小基站；

網(wǎng)絡(luò)模型由G＝(N,E)表示，其中N＝{n₁,n₂,...}為物理節(jié)點(diǎn)集合，用N_r＝{r₁,r₂,...}表示無線接入網(wǎng)中SBS集合，有E＝{(n_i,n_j)|n_i,n_j∈N,B_i,j＞0}為物理鏈路集合；用C_1×|N|＝[c₁,c₂,...]表示物理節(jié)點(diǎn)計(jì)算資源容量，其中c_i為物理節(jié)點(diǎn)n_i的計(jì)算資源容量；用B_|N|×|N|＝[B_i,j]表示物理節(jié)點(diǎn)的關(guān)聯(lián)矩陣，其元素B_i,j表示節(jié)點(diǎn)n_i和n_j間的鏈路帶寬容量；用表示SBS的子載波資源向量，其中W_i⁰表示SBS r_i的子載波個(gè)數(shù)；

服務(wù)請(qǐng)求集合用F＝{1,2,...,f,...}表示，一個(gè)SFC請(qǐng)求為一個(gè)五元組f＝＜sfc_f,Load_f,r_f,Delay_f,C_f＞，其中sfc_f表示f的SFC邏輯鏈路，Load_f表示f的負(fù)載，單位為Mbit，r_f表示發(fā)起該服務(wù)請(qǐng)求的用戶所關(guān)聯(lián)的SBS，Delay_f表示f的時(shí)延要求，C_f表示f的無線速率要求；

需要的部署變量包括每個(gè)時(shí)隙的VNF部署變量及其計(jì)算資源分配、鏈路映射變量及其帶寬分配、以及無線接入網(wǎng)子載波資源分配，其中，VNF計(jì)算資源分配和鏈路帶寬資源分配由環(huán)境感知決定，鏈路映射由Dijkstra算法確定，子載波分配和VNF部署變量由DDPG算法決定；

用戶的信干噪比γ_i,f(t)由觀測(cè)到的信號(hào)強(qiáng)度以及SBS平均分配的功率得到，通過DDPG算法為每個(gè)用戶分配子載波資源W_i,f(t)，則可得到該用戶可達(dá)的無線速率：C^f(t)＝W_i,f(t)B·log₂(1+γ_i,f(t))，其中B為單個(gè)子載波帶寬；SFC部署成本由無線子載波成本cost_w(t)、物理節(jié)點(diǎn)計(jì)算資源成本cost_c(t)以及鏈路帶寬資源成本cost_b(t)三部分構(gòu)成：Cost(t)＝ρ_w·cost_w(t)+ρ_c·cost_c(t)+ρ_b·cost_b(t)，其中，ρ_w,ρ_c,ρ_b為三種成本權(quán)重因子，有ρ_w+ρ_c+ρ_b＝1；每條SFC需滿足由其自身服務(wù)特點(diǎn)所決定的時(shí)延需求；一條SFC的總時(shí)延D由物理節(jié)點(diǎn)處理時(shí)延D_c、有線鏈路傳輸時(shí)延D_l以及無線鏈路傳輸時(shí)延D_w組成：優(yōu)化的目標(biāo)即為在滿足用戶時(shí)延要求和無線速率需求的同時(shí)，最小化系統(tǒng)總部署成本Cost(t)；

S2：將SFC部署成本最小化模型轉(zhuǎn)化為離散時(shí)間下的具有連續(xù)狀態(tài)空間和高維度動(dòng)作空間的MDP問題，MDP表示馬爾可夫決策過程；

MDP的狀態(tài)由所有用戶的信干噪比組成：s_t＝(γ₁(t),γ₂(t),...,γ_|F|(t))，其中F表示服務(wù)請(qǐng)求集合，動(dòng)作由子載波分配矩陣W(t)和VNF部署變量組成：其中N^f為sfc_f的VNF虛擬節(jié)點(diǎn)集合，當(dāng)環(huán)境處于狀態(tài)s_t時(shí)執(zhí)行動(dòng)作a_t，系統(tǒng)會(huì)進(jìn)入下一狀態(tài)s_t+1，并得到即時(shí)獎(jiǎng)勵(lì)r_t，優(yōu)化目標(biāo)為SFC的部署總成本，因此將成本的相反數(shù)設(shè)為獎(jiǎng)勵(lì)函數(shù)，即r_t＝-Cost(t)，動(dòng)作a_t的來源為一個(gè)確定性策略π，由策略π可得到每個(gè)時(shí)隙的子載波分配和SFC部署決策，π為狀態(tài)空間到動(dòng)作空間的一個(gè)映射，即：a＝π(s)；動(dòng)作值函數(shù)Q^π(s,a)表示從當(dāng)前狀態(tài)s并采取動(dòng)作a后執(zhí)行策略π得到的累計(jì)獎(jiǎng)勵(lì)的期望值：

定義策略目標(biāo)函數(shù)：J(π)來衡量策略的性能表現(xiàn)，它表示為動(dòng)作值函數(shù)的均值，表示為：J(π)＝∫_sd(s)Q^π(s,a)ds＝E_s～d[Q^π(s,a)]，其中d(s)為狀態(tài)空間的分布函數(shù)，此MDP的優(yōu)化目標(biāo)即為，找到一個(gè)策略π，使J(π)最大化；

S3：最后考慮到MDP問題的高維性，利用DDPG強(qiáng)化算法獲得SFC部署與子載波分配的聯(lián)合優(yōu)化策略；

DDPG算法基于AC算法架構(gòu)，利用神經(jīng)網(wǎng)絡(luò)從連續(xù)狀態(tài)空間和高維動(dòng)作空間中提取特征，并結(jié)合深度Q網(wǎng)絡(luò)算法中經(jīng)驗(yàn)回放和固定目標(biāo)網(wǎng)絡(luò)的思想，使算法達(dá)到理想的收斂速率和穩(wěn)定性；DDPG算法包括Actor和Critic兩部分，其中，Actor負(fù)責(zé)構(gòu)建參數(shù)化的策略，根據(jù)當(dāng)前狀態(tài)輸出動(dòng)作，Critic負(fù)責(zé)構(gòu)建Q網(wǎng)絡(luò)，根據(jù)環(huán)境反饋的獎(jiǎng)勵(lì)值來評(píng)估當(dāng)前策略，輸出TD誤差來更新Actor和Critic兩部分的參數(shù)，其中TD表示時(shí)間差分，使MDP的優(yōu)化目標(biāo)J(π)最大化。

2.根據(jù)權(quán)利要求1所述的一種基于環(huán)境感知的服務(wù)功能鏈低成本智能部署方法，其特征在于：所述環(huán)境感知包括：在無線接入網(wǎng)端檢測(cè)用戶下行鏈路的信號(hào)強(qiáng)度、干擾功率以及噪聲功率，并假設(shè)基站采用平均分配的功率控制方法對(duì)用戶進(jìn)行發(fā)送功率分配，再利用DDPG算法對(duì)用戶進(jìn)行子載波分配，則可得到用戶無線端可達(dá)的下行速率，將此用戶可達(dá)的無線速率作為其SFC的流速率，使分配給各個(gè)VNF的計(jì)算資源和虛擬鏈路的帶寬資源與此流速率相匹配。