[發(fā)明專利]基于強化學(xué)習(xí)的數(shù)據(jù)中心數(shù)據(jù)備份方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202111574948.4
• 申請日: 2021-12-21
• 公開（公告）號: CN114244854B
• 公開（公告）日: 2022-11-22
• 發(fā)明（設(shè)計）人: 王華;張國鋒
• 申請（專利權(quán)）人: 山東大學(xué)
• 主分類號: H04L67/1095
• 分類號: H04L67/1095;H04L45/48;H04L45/247;H04L45/16;G06F11/14
• 代理公司: 濟南圣達知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 董雪

1.一種基于強化學(xué)習(xí)的數(shù)據(jù)中心數(shù)據(jù)備份方法，其特征在于，包括：

獲取全局網(wǎng)絡(luò)的鏈路狀態(tài)，確定待備份的源數(shù)據(jù)中心節(jié)點和多個目標數(shù)據(jù)中心節(jié)點；所述待備份的源數(shù)據(jù)通過組播路由的方式從源數(shù)據(jù)中心節(jié)點傳輸?shù)礁鱾€目標數(shù)據(jù)中心節(jié)點；

以全局由帶寬和時延組成的指標成本最小為目標，在全局網(wǎng)絡(luò)的拓撲結(jié)構(gòu)上擴展生成組播樹；將組播樹的構(gòu)建規(guī)約為NP-Hard問題，采用強化學(xué)習(xí)算法對所述問題進行求解，得到備份成本最優(yōu)的備份路由方案；

將組播樹的構(gòu)建規(guī)約為NP-Hard問題，采用強化學(xué)習(xí)算法對所述問題進行求解，具體包括：

確定源數(shù)據(jù)中心節(jié)點和目標數(shù)據(jù)中心節(jié)點組成的節(jié)點集合V；

基于全局網(wǎng)絡(luò)拓撲結(jié)構(gòu)，根據(jù)節(jié)點集合去除無關(guān)的節(jié)點和鏈路，得到圖G；

初始化Q表的值為零，設(shè)定目標迭代次數(shù)和最大收斂次數(shù)，使用鄰接表來存儲路由路徑，初始化為空，初始化智能體的狀態(tài)為源數(shù)據(jù)中心節(jié)點；

為當前狀態(tài)中的節(jié)點確定可選動作集；在所述可選動作集中按照ε貪心策略選取下一節(jié)點以及對應(yīng)的邊，更新鄰接表，計算獎勵因子并更新Q表；

判斷節(jié)點集合V中的節(jié)點是否都已在組播樹中出現(xiàn)，若是則對可行解進行剪枝，輸出最優(yōu)的可行解；否則利用更新后的參數(shù)重新確定可選動作集；

所述對可行解進行剪枝，具體包括：

將樹中不屬于節(jié)點集合V的葉子節(jié)點去除，直到所有葉子節(jié)點都屬于節(jié)點集合V。

2.如權(quán)利要求1所述的一種基于強化學(xué)習(xí)的數(shù)據(jù)中心數(shù)據(jù)備份方法，其特征在于，通過SDN控制器獲取全局網(wǎng)絡(luò)的鏈路狀態(tài)。

3.如權(quán)利要求1所述的一種基于強化學(xué)習(xí)的數(shù)據(jù)中心數(shù)據(jù)備份方法，其特征在于，所述組播樹的構(gòu)建過程包括：

將源數(shù)據(jù)中心節(jié)點和多個目標數(shù)據(jù)中心節(jié)點組成節(jié)點集合，初始時將備份節(jié)點當作根節(jié)點，然后基于強化學(xué)習(xí)的決策結(jié)果選擇鄰接節(jié)點向外生長，直到成為包含節(jié)點集合中所有節(jié)點的一棵樹。

4.一種基于強化學(xué)習(xí)的數(shù)據(jù)中心數(shù)據(jù)備份系統(tǒng)，其特征在于，包括：

全局網(wǎng)絡(luò)獲取模塊，用于獲取全局網(wǎng)絡(luò)的鏈路狀態(tài)，確定待備份的源數(shù)據(jù)中心節(jié)點和多個目標數(shù)據(jù)中心節(jié)點；所述待備份的源數(shù)據(jù)通過組播路由的方式從源數(shù)據(jù)中心節(jié)點傳輸?shù)礁鱾€目標數(shù)據(jù)中心節(jié)點；

最優(yōu)備份路由確定模塊，用于以全局由帶寬和時延組成的指標成本最小為目標，在全局網(wǎng)絡(luò)的拓撲結(jié)構(gòu)上擴展生成組播樹；將組播樹的構(gòu)建規(guī)約為NP-Hard問題，采用強化學(xué)習(xí)算法對所述問題進行求解，得到備份成本最優(yōu)的備份路由方案；將組播樹的構(gòu)建規(guī)約為NP-Hard問題，采用強化學(xué)習(xí)算法對所述問題進行求解，具體包括：

確定源數(shù)據(jù)中心節(jié)點和目標數(shù)據(jù)中心節(jié)點組成的節(jié)點集合V；

基于全局網(wǎng)絡(luò)拓撲結(jié)構(gòu)，根據(jù)節(jié)點集合去除無關(guān)的節(jié)點和鏈路，得到圖G；

初始化Q表的值為零，設(shè)定目標迭代次數(shù)和最大收斂次數(shù)，使用鄰接表來存儲路由路徑，初始化為空，初始化智能體的狀態(tài)為源數(shù)據(jù)中心節(jié)點；

為當前狀態(tài)中的節(jié)點確定可選動作集；在所述可選動作集中按照ε貪心策略選取下一節(jié)點以及對應(yīng)的邊，更新鄰接表，計算獎勵因子并更新Q表；

判斷節(jié)點集合V中的節(jié)點是否都已在組播樹中出現(xiàn)，若是則對可行解進行剪枝，輸出最優(yōu)的可行解；否則利用更新后的參數(shù)重新確定可選動作集；

所述對可行解進行剪枝，具體包括：

將樹中不屬于節(jié)點集合V的葉子節(jié)點去除，直到所有葉子節(jié)點都屬于節(jié)點集合V。

5.如權(quán)利要求4所述的一種基于強化學(xué)習(xí)的數(shù)據(jù)中心數(shù)據(jù)備份系統(tǒng)，其特征在于，將源數(shù)據(jù)中心節(jié)點和多個目標數(shù)據(jù)中心節(jié)點組成節(jié)點集合，初始時將備份節(jié)點當作根節(jié)點，然后基于強化學(xué)習(xí)的決策結(jié)果選擇鄰接節(jié)點向外生長，直到成為包含節(jié)點集合中所有節(jié)點的一棵樹。