[發(fā)明專利]基于強(qiáng)化學(xué)習(xí)的虛擬網(wǎng)絡(luò)層次化分布式部署方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202111195085.X
• 申請(qǐng)日: 2021-10-14
• 公開（公告）號(hào): CN113641462B
• 公開（公告）日: 2021-12-21
• 發(fā)明（設(shè)計(jì)）人: 陳曦;吳濤;鄧偉健;黃俊
• 申請(qǐng)（專利權(quán)）人: 西南民族大學(xué)
• 主分類號(hào): G06F9/455
• 分類號(hào): G06F9/455;G06F9/50;G06N3/04
• 代理公司: 北京元本知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11308
• 代理人: 王紅霞

1.一種基于強(qiáng)化學(xué)習(xí)的虛擬網(wǎng)絡(luò)層次化分布式部署方法，其特征在于，包括以下步驟：

步驟1：為每一臺(tái)物理宿主機(jī)建立獨(dú)立的動(dòng)作價(jià)值函數(shù)表，單元格內(nèi)為對(duì)應(yīng)的動(dòng)作價(jià)值函數(shù)，初始化為0，其中，表示一臺(tái)物理宿主機(jī)，上標(biāo)p代表physical，下標(biāo)r代表物理宿主機(jī)的編號(hào)，取值范圍是，R為物理宿主機(jī)的總臺(tái)數(shù)；s表示強(qiáng)化學(xué)習(xí)中的狀態(tài)，表示強(qiáng)化學(xué)習(xí)中的動(dòng)作，動(dòng)作價(jià)值函數(shù)代表強(qiáng)化學(xué)習(xí)中在強(qiáng)化學(xué)習(xí)中的狀態(tài)s采取動(dòng)作的長(zhǎng)期收益;

步驟2：等待新的虛擬網(wǎng)絡(luò)部署請(qǐng)求，當(dāng)新的虛擬網(wǎng)絡(luò)部署請(qǐng)求到達(dá)時(shí)，跳轉(zhuǎn)步驟 3；

步驟3：根據(jù)物理宿主機(jī)資源供應(yīng)的觀察結(jié)果，找到資源供應(yīng)最大的物理宿主機(jī)；其中，代表在t時(shí)刻，由物理宿主機(jī)所提供的多維資源，為資源供應(yīng)最大的物理宿主機(jī)的編號(hào)；

步驟4：判斷所述物理宿主機(jī)能否容納虛擬網(wǎng)絡(luò)，

若能容納，則跳轉(zhuǎn)步驟5，

若不能容納，則跳轉(zhuǎn)步驟6；

步驟5：直接部署，設(shè)置當(dāng)前動(dòng)作為部署，并跳轉(zhuǎn)步驟8；

步驟6：切塊部署，根據(jù)動(dòng)作價(jià)值函數(shù)選擇動(dòng)作，若動(dòng)作是部署，跳轉(zhuǎn)步驟8，若動(dòng)作是擴(kuò)張，跳轉(zhuǎn)步驟7；

步驟7：以虛擬網(wǎng)絡(luò)尚未部署部分中出度最大的虛擬網(wǎng)元為中心，進(jìn)行切塊的擴(kuò)張，逐步構(gòu)建虛擬網(wǎng)絡(luò)切塊中的虛擬網(wǎng)元集合，跳轉(zhuǎn)步驟8；其中，為虛擬網(wǎng)絡(luò)中虛擬網(wǎng)元，上標(biāo)代表logical，下標(biāo)代表虛擬網(wǎng)元的編號(hào)，取值范圍是，I為虛擬網(wǎng)元的總個(gè)數(shù)；為出度最大的虛擬網(wǎng)元的編號(hào)，代表虛擬網(wǎng)絡(luò)切塊，上標(biāo)b代表block，下標(biāo)m為虛擬網(wǎng)絡(luò)切塊的編號(hào)，取值范圍是，在執(zhí)行過程中動(dòng)態(tài)確定總塊數(shù)；

步驟8：根據(jù)如下公式計(jì)算獎(jiǎng)勵(lì)：

式中，為時(shí)刻，資源供應(yīng)最大的物理宿主機(jī)已部署的虛擬網(wǎng)絡(luò)切塊的個(gè)數(shù)，代表在??時(shí)刻，由虛擬網(wǎng)絡(luò)切塊中虛擬網(wǎng)元集合所消耗的多維資源的總和，是最大的物理宿主機(jī)資源供應(yīng)的觀察結(jié)果；

步驟9：根據(jù)獎(jiǎng)勵(lì)更新當(dāng)前動(dòng)作價(jià)值函數(shù)表中的動(dòng)作價(jià)值函數(shù)：

步驟10：判斷當(dāng)前動(dòng)作是否為部署動(dòng)作，若是則跳轉(zhuǎn)步驟 11；若否則跳轉(zhuǎn)步驟 3；

步驟11：部署當(dāng)前整個(gè)虛擬網(wǎng)絡(luò)或者虛擬網(wǎng)絡(luò)切塊中的虛擬網(wǎng)元集合到當(dāng)前選中的物理宿主機(jī)，并根據(jù)屬性值更新物理宿主機(jī)的狀態(tài)；其中代表當(dāng)前整個(gè)虛擬網(wǎng)絡(luò)，上標(biāo)代表logical；

步驟12：判斷虛擬網(wǎng)絡(luò)是否已全部部署完畢，若是則跳轉(zhuǎn)步驟2；若否則跳轉(zhuǎn)步驟3。

2.按照權(quán)利要求1所述的方法，其特征在于，所述步驟3中，根據(jù)找到資源供應(yīng)最大的物理宿主機(jī)，其中上標(biāo)R為物理宿主機(jī)的總臺(tái)數(shù)。

3.按照權(quán)利要求1所述的方法，其特征在于，所述步驟7中，以虛擬網(wǎng)絡(luò)尚未部署部分中出度最大的虛擬網(wǎng)元為中心，其中，上標(biāo)I為虛擬網(wǎng)元的總個(gè)數(shù)，進(jìn)行切塊的擴(kuò)張，采用廣度優(yōu)先搜索，逐步構(gòu)建虛擬網(wǎng)絡(luò)切塊中的虛擬網(wǎng)元集合，跳轉(zhuǎn)步驟8。

4.按照權(quán)利要求1所述的方法，其特征在于，所述步驟9中：根據(jù)如下公式更新當(dāng)前動(dòng)作價(jià)值函數(shù)表中的動(dòng)作價(jià)值函數(shù)：

公式表示為：

其中，獎(jiǎng)勵(lì)代表當(dāng)前狀態(tài)s下采取動(dòng)作得到的短期效益，表示當(dāng)前狀態(tài)s下所有可選動(dòng)作中能夠得到的最大長(zhǎng)期效益，式中的表示選擇了動(dòng)作之后，跳轉(zhuǎn)到的新狀態(tài)，max表示取最大值，表示短期效益和長(zhǎng)期效益求和，是當(dāng)前狀態(tài)下能夠獲取到的后續(xù)最大收益，其中為折扣率，代表長(zhǎng)期效益對(duì)當(dāng)前狀態(tài)下的效益的影響率，越接近1表示更看重長(zhǎng)期效益，反之更看重短期效益，表示此次迭代選擇新動(dòng)作與原動(dòng)作之間形成的回報(bào)增益，其中為學(xué)習(xí)率，代表強(qiáng)化學(xué)習(xí)的快慢，越接近1表示學(xué)習(xí)越快，反之越慢；整個(gè)公式代表不斷地通過迭代計(jì)算回報(bào)增益，來(lái)更新各個(gè)狀態(tài)s下采取各個(gè)動(dòng)作能夠得到的長(zhǎng)期收益，從而使得系統(tǒng)可以通過學(xué)習(xí)自主地選擇最優(yōu)動(dòng)作。

5.按照權(quán)利要求1所述的方法，其特征在于，所述步驟8中，表示為在時(shí)刻，由物理宿主機(jī)所提供的多維資源，主要包含處理器CPU資源、內(nèi)存RAM資源、磁盤DISK資源。