[發(fā)明專利]混合式網(wǎng)內(nèi)動態(tài)負載均衡方法、裝置及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010720378.4
• 申請日: 2020-07-23
• 公開（公告）號: CN111817975B
• 公開（公告）日: 2021-04-06
• 發(fā)明（設(shè)計）人: 姚海鵬;買天樂;忻向軍
• 申請（專利權(quán)）人: 北京郵電大學(xué);中交信通網(wǎng)絡(luò)科技有限公司
• 主分類號: H04L12/803
• 分類號: H04L12/803
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 安衛(wèi)靜

1.一種混合式網(wǎng)內(nèi)動態(tài)負載均衡方法，其特征在于，應(yīng)用于第一分布式交換機，包括：

在基于本地策略執(zhí)行動作之后，向集中式平臺發(fā)送所述第一分布式交換機的參數(shù)信息；

接收所述集中式平臺基于所述第一分布式交換機的參數(shù)信息和第二分布式交換機的參數(shù)信息確定的策略修正信息；其中，所述第二分布式交換機為網(wǎng)內(nèi)除第一分布式交換機之外所有的其他分布式交換機；

基于所述策略修正信息和預(yù)設(shè)策略更新公式更新所述本地策略，以使所述第一分布式交換機基于更新后的本地策略執(zhí)行下一動作；其中，所述預(yù)設(shè)策略更新公式引入基準機制；

所述預(yù)設(shè)策略更新公式為：

其中，E表示全局Q值的期望，表示梯度，在趨向于零時，表示所述本地策略被優(yōu)化；π(a_i|o_i)表示不斷更新的所述本地策略，i表示N個分布式交換機中的第i個分布式交換機作為所述第一分布式交換機，a_i為所述第i個分布式交換機的動作信息，o_i為局部狀態(tài)，即所述第i個分布式交換機的觀察信息，Q(s,a)為所述策略修正信息，s為全網(wǎng)狀態(tài)，是所有所述局部狀態(tài)o_i的集合，b(s，a_-i)為用于反映所述基準機制的基準信息，a_-i為除第i個分布式交換機以外的分布式交換機的動作。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，基于所述策略修正信息和預(yù)設(shè)策略更新公式更新所述本地策略，包括：

基于所述策略修正信息和預(yù)設(shè)基準公式進行計算，得到基準信息；

基于所述基準信息和所述預(yù)設(shè)策略更新公式更新所述本地策略。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一分布式交換機的參數(shù)信息包括：第一分布式交換機的觀察信息和第一分布式交換機的動作信息；

在基于本地策略執(zhí)行動作之前，方法包括：

獲取第一分布式交換機的觀察信息和第一分布式交換機的動作信息；

將所述第一分布式交換機的觀察信息和所述第一分布式交換機的動作信息確定為所述參數(shù)信息。

4.一種混合式網(wǎng)內(nèi)動態(tài)負載均衡方法，其特征在于，應(yīng)用于集中式平臺，包括：

接收第一分布式交換機在基于本地策略執(zhí)行動作之后發(fā)送的所述第一分布式交換機的參數(shù)信息；

基于所述第一分布式交換機的參數(shù)信息和第二分布式交換機的參數(shù)信息確定策略修正信息；其中，所述第二分布式交換機為網(wǎng)內(nèi)除第一分布式交換機之外所有的其他分布式交換機；

向所述第一分布式交換機發(fā)送所述策略修正信息，以使所述第一分布式交換機基于所述策略修正信息和預(yù)設(shè)策略更新公式更新所述本地策略；其中，所述預(yù)設(shè)策略更新公式引入基準機制；

所述預(yù)設(shè)策略更新公式為：

其中，E表示全局Q值的期望，表示梯度，在趨向于零時，表示所述本地策略被優(yōu)化；π(a_i|o_i)表示不斷更新的所述本地策略，i表示N個分布式交換機中的第i個分布式交換機作為所述第一分布式交換機，a_i為所述第i個分布式交換機的動作信息，o_i為局部狀態(tài)，即所述第i個分布式交換機的觀察信息，Q(s,a)為所述策略修正信息，s為全網(wǎng)狀態(tài)，是所有所述局部狀態(tài)o_i的集合，b(s，a_-i)為用于反映所述基準機制的基準信息，a_-i為除第i個分布式交換機以外的分布式交換機的動作。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述方法，還包括：

向所述第二分布式交換機發(fā)送所述策略修正信息，以使所述第二分布式交換機基于所述策略修正信息和預(yù)設(shè)策略更新公式更新所述第二分布式交換機的本地策略。