[發(fā)明專利]基于異步強(qiáng)化學(xué)習(xí)的網(wǎng)絡(luò)服務(wù)功能鏈動(dòng)態(tài)部署系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011514515.5
• 申請(qǐng)日: 2020-12-21
• 公開(kāi)（公告）號(hào): CN112631717B
• 公開(kāi)（公告）日: 2023-09-05
• 發(fā)明（設(shè)計(jì)）人: 范琪琳;王天富;李秀華;熊慶宇;潘盼;文俊浩;高旻
• 申請(qǐng)（專利權(quán)）人: 重慶大學(xué)
• 主分類號(hào): G06F9/455
• 分類號(hào): G06F9/455;G06F18/20;G06N3/0464;G06N3/08
• 代理公司: 重慶縉云專利代理事務(wù)所(特殊普通合伙) 50237
• 代理人: 王翔

1.基于異步強(qiáng)化學(xué)習(xí)的網(wǎng)絡(luò)服務(wù)功能鏈動(dòng)態(tài)部署系統(tǒng)，其特征在于，包括信息獲取模塊、神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊、虛擬網(wǎng)絡(luò)功能放置模塊、放置校驗(yàn)?zāi)K和數(shù)據(jù)庫(kù)；

所述信息獲取模塊獲取服務(wù)功能鏈請(qǐng)求；

所述服務(wù)功能鏈請(qǐng)求的信息包括虛擬網(wǎng)絡(luò)功能集N^v＝{VNF₁，VNF₂，VNF₃，…，VNF_T}；VNF_T表示第T個(gè)虛擬網(wǎng)絡(luò)功能；T為所述服務(wù)功能鏈請(qǐng)求的虛擬網(wǎng)絡(luò)功能數(shù)量；

所述神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊建立神經(jīng)網(wǎng)絡(luò)，并對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型；

所述虛擬網(wǎng)絡(luò)功能放置模塊將服務(wù)功能鏈請(qǐng)求信息輸入到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型中，生成虛擬網(wǎng)絡(luò)功能的放置方式，并完成虛擬網(wǎng)絡(luò)功能的放置；

所述放置校驗(yàn)?zāi)K判斷服務(wù)功能鏈請(qǐng)求中所有虛擬網(wǎng)絡(luò)功是否均放置成功，若是，則接受所述服務(wù)功能鏈請(qǐng)求，否則拒絕所述服務(wù)功能鏈請(qǐng)求，釋放已占用的資源；

所述數(shù)據(jù)庫(kù)存儲(chǔ)信息獲取模塊、神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊、虛擬網(wǎng)絡(luò)功能放置模塊、放置校驗(yàn)?zāi)K的數(shù)據(jù)；

所述神經(jīng)網(wǎng)絡(luò)包括圖卷積神經(jīng)網(wǎng)絡(luò)和若干GRU單元；

所述圖卷積神經(jīng)網(wǎng)絡(luò)的輸入為一個(gè)圖的鄰接矩陣A和圖中節(jié)點(diǎn)的特征矩陣X，輸出為提取圖中特征后的新表示向量Z_t；

其中，新表示向量Z_t如下所示：

式中，σ(·)是激活函數(shù)，W是可訓(xùn)練參數(shù)；表示圖數(shù)據(jù)結(jié)構(gòu)的卷積操作；是圖的鄰接矩陣與單位矩陣之和；

對(duì)于任意時(shí)間步長(zhǎng)t，GRU單元的輸入為當(dāng)前服務(wù)功能鏈的特征上一個(gè)時(shí)間步幅的隱藏狀態(tài)向量e_t-1，輸出為當(dāng)前時(shí)間步幅的隱藏狀態(tài)向量e_t；

隱藏狀態(tài)向量e_t如下所示：

式中，z_t為遺忘門(mén)；為候選的隱藏狀態(tài)；

其中，遺忘門(mén)z_t和候選的隱藏狀態(tài)分別如下所示：

式中，r_t表示重置門(mén)；σ(·)是sigmoid激活函數(shù)；⊙表示元素的乘法；W_z、W_e、V_z、V_e表示權(quán)重；b_z、b_e表示偏置；

式中，W_r、V_r表示重置門(mén)；b_r表示偏置；

生成虛擬網(wǎng)絡(luò)功能放置方式的步驟包括：

1)利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型的編碼器捕獲當(dāng)前服務(wù)功能鏈的虛擬網(wǎng)絡(luò)功能間時(shí)序關(guān)系；

2)讀取當(dāng)前的物理網(wǎng)絡(luò)狀態(tài)信息，并利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型提取網(wǎng)絡(luò)拓?fù)涞奶卣鳎?/p>

3)提取當(dāng)前放置的虛擬網(wǎng)絡(luò)功能VNF_t的特征，步驟包括：

3.1)以編碼器最后一時(shí)間步幅的隱藏狀態(tài)e_T或者上一步時(shí)間步幅動(dòng)作結(jié)果a_t-1和隱藏狀態(tài)d_t-1作為輸入，得到當(dāng)前隱藏層輸出d_t，即：

3.2)計(jì)算對(duì)齊權(quán)重α_t,j，即：

式中，是當(dāng)前隱藏層輸出d_t和每個(gè)編碼器隱藏狀態(tài)e_j之間相關(guān)性的分值；[d_t；e_j]表示向量d_t和向量e_j串聯(lián)；和W_a是可訓(xùn)練的變量；

3.3)以每個(gè)編碼器隱藏狀態(tài)e_j作為輸入，用對(duì)齊權(quán)重α_t,j對(duì)輸入序列進(jìn)行加權(quán)求和，得到上下文向量c_t，即：

4)利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型融合當(dāng)前放置的虛擬網(wǎng)絡(luò)功能和實(shí)時(shí)物理網(wǎng)絡(luò)的狀態(tài)特征，并輸入至Softmax，得到當(dāng)前虛擬網(wǎng)絡(luò)功能放置在每個(gè)物理網(wǎng)絡(luò)節(jié)點(diǎn)的概率π[·∣{a₁,…,a_t-1},d_t,c_t,Z_t]，即：

式中，狀態(tài)特征和W_b為可訓(xùn)練的參數(shù)；

5)判斷是否存在可放置當(dāng)前VNF的物理節(jié)點(diǎn)，若是，則進(jìn)入步驟6)；否則，進(jìn)入步驟9)；存在可放置當(dāng)前VNF的物理節(jié)點(diǎn)的判斷標(biāo)準(zhǔn)為：物理節(jié)點(diǎn)的各項(xiàng)資源剩余量大于當(dāng)前VNF的資源請(qǐng)求量；

6)判斷是否存在滿足帶寬約束的特定物理鏈路，若是，則進(jìn)入步驟7)；否則，進(jìn)入步驟9)；所述特定物理鏈路表示連通放置有當(dāng)前VNF的物理節(jié)點(diǎn)與放置有上一VNF的物理節(jié)點(diǎn)的物理鏈路；所述特定物理鏈路中的每條邊剩余帶寬資源必須大于當(dāng)前VNF與上一VNF間虛擬鏈路的資源請(qǐng)求量；

7)利用虛擬鏈路帶寬請(qǐng)求量更新所述特定物理鏈路帶寬資源剩余量信息；

8)判斷所有VNF是否被依次放置成功，若是，則進(jìn)入步驟10)，否則，返回步驟2)；

9)當(dāng)前服務(wù)功能鏈部署失敗，中止放置；

10)當(dāng)前服務(wù)功能鏈部署成功，中止放置。