[發(fā)明專利]彈性光網(wǎng)絡(luò)中服務(wù)鏈部署方法與裝置

有效

• 申請?zhí)枺?/td>: 202010051195.8
• 申請日: 2020-01-16
• 公開（公告）號: CN111314803B
• 公開（公告）日: 2021-11-16
• 發(fā)明（設(shè)計）人: 陳彬;梅家豪
• 申請（專利權(quán)）人: 深圳大學(xué)
• 主分類號: H04Q11/00
• 分類號: H04Q11/00;H04L12/24
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 熊永強;王勤

1.一種彈性光網(wǎng)絡(luò)中服務(wù)鏈部署方法，其特征在于，包括：

獲取針對彈性光網(wǎng)絡(luò)中第一虛擬網(wǎng)絡(luò)功能VNF服務(wù)鏈的部署請求，所述第一VNF服務(wù)鏈的部署請求包括第一VNF序列，所述第一VNF序列用于指示所述第一VNF序列中每個VNF類型的部署順序；

根據(jù)所述第一VNF服務(wù)鏈的部署請求確定強化學(xué)習(xí)模型中的第一狀態(tài)集、第一動作集和第一獎勵集，所述第一狀態(tài)集用于指示所述第一VNF服務(wù)鏈的部署請求在所述彈性光網(wǎng)絡(luò)中的部署狀態(tài)，所述第一動作集用于指示所述第一VNF服務(wù)鏈的部署請求在所述彈性光網(wǎng)絡(luò)中的部署動作，所述第一獎勵集用于指示所述第一動作集在所述彈性光網(wǎng)絡(luò)中產(chǎn)生的能耗；

初始化深度Q網(wǎng)絡(luò)DQN模型中的第一網(wǎng)絡(luò)模型和第二網(wǎng)絡(luò)模型，并將所述第一網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)復(fù)制給所述第二網(wǎng)絡(luò)模型；

構(gòu)建所述第一狀態(tài)集的初始狀態(tài)和結(jié)束狀態(tài)，所述初始狀態(tài)用于指示所述第一VNF服務(wù)鏈的部署請求部署開始，所述結(jié)束狀態(tài)用于指示所述第一VNF服務(wù)鏈的部署請求部署完成；

將所述第一狀態(tài)集中的第一狀態(tài)輸入所述第一網(wǎng)絡(luò)模型，得到所述第一動作集中的第一動作，所述第一狀態(tài)包括所述初始狀態(tài)；

執(zhí)行所述第一動作，得到所述第一狀態(tài)集對應(yīng)的目標(biāo)狀態(tài)和所述第一獎勵集對應(yīng)的第一獎勵值；

在所述目標(biāo)狀態(tài)為所述結(jié)束狀態(tài)的情況下，完成所述第一VNF服務(wù)鏈在所述彈性光網(wǎng)絡(luò)中的部署。

2.根據(jù)權(quán)利要求1所述的服務(wù)鏈部署方法，其特征在于，所述根據(jù)所述第一VNF服務(wù)鏈的部署請求確定第一狀態(tài)集、第一動作集和第一獎勵集，包括：

在部署所述第一VNF序列中的第一VNF類型的情況下，根據(jù)所述第一VNF類型確定所述第一狀態(tài)集、所述第一動作集和所述第一獎勵集。

3.根據(jù)權(quán)利要求2所述的服務(wù)鏈部署方法，其特征在于，所述第一狀態(tài)集包括在所述彈性光網(wǎng)絡(luò)中完成部署第二VNF類型的部署位置、所述第一VNF類型、在所述彈性光網(wǎng)絡(luò)中待部署所述第一VNF類型的部署位置集合、所述第一VNF類型所需的部署資源、所述彈性光網(wǎng)絡(luò)中光路集合的光路狀態(tài)；其中，所述第二VNF類型為所述第一VNF類型在所述第一VNF序列中的上一個VNF類型，所述光路狀態(tài)用于指示所述光路集合中每條光路是否已建立；

所述第一動作集包括在所述彈性光網(wǎng)絡(luò)中部署所述第一VNF類型的動作；

所述第一獎勵集包括在執(zhí)行所述第一動作集的情況下網(wǎng)絡(luò)設(shè)備產(chǎn)生的能耗函數(shù)，所述網(wǎng)絡(luò)設(shè)備包括以下至少一種：所述彈性光網(wǎng)絡(luò)中的路由器、所述彈性光網(wǎng)絡(luò)中的轉(zhuǎn)換器、所述彈性光網(wǎng)絡(luò)中的光交叉連接器和所述彈性光網(wǎng)絡(luò)中的光信號放大器。

4.根據(jù)權(quán)利要求1所述的服務(wù)鏈部署方法，其特征在于，在所述得到所述第一狀態(tài)集對應(yīng)的目標(biāo)狀態(tài)集和所述第一獎勵集對應(yīng)的第一獎勵值之后，所述方法還包括：

設(shè)置數(shù)據(jù)存儲集、折扣因子和更新步長；

將所述第一狀態(tài)、所述第一動作、所述目標(biāo)狀態(tài)和所述第一獎勵值輸入所述數(shù)據(jù)存儲集；

在所述數(shù)據(jù)存儲集的容量大于預(yù)設(shè)容量的情況下，從所述數(shù)據(jù)存儲集中獲取所述第一狀態(tài)集中的第二狀態(tài)、所述第一狀態(tài)集中的第三狀態(tài)、所述第一動作集中的第二動作和所述第一獎勵集中的第二獎勵值；

將所述第二狀態(tài)和所述第二動作輸入所述第一網(wǎng)絡(luò)模型，得到第一估計值；

將所述第三狀態(tài)輸入所述第二網(wǎng)絡(luò)模型，得到第一目標(biāo)值；

根據(jù)所述第一估計值、所述第一目標(biāo)值、所述第二獎勵值和所述折扣因子確定所述DQN模型的目標(biāo)誤差函數(shù)；

根據(jù)所述目標(biāo)誤差函數(shù)更新所述第一網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)；

在所述更新步長整除預(yù)設(shè)更新閾值的情況下，將所述第一網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)復(fù)制給所述第二網(wǎng)絡(luò)模型。