[發明專利]流量調度方法及裝置

有效

• 申請號: 201811505121.6
• 申請日: 2018-12-10
• 公開（公告）號: CN111294284B
• 公開（公告）日: 2022-04-26
• 發明（設計）人: 毛航宇;張正超;肖臻;倪炎;龔志波
• 申請（專利權）人: 華為技術有限公司;北京大學
• 主分類號: H04L47/10
• 分類號: H04L47/10
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 朱穎;劉芳

1.一種流量調度方法，其特征在于，包括：

網絡設備向控制器發送所述網絡設備的第一局部狀態信息，所述第一局部狀態信息用于生成所述網絡設備的第一全局狀態信息；

所述網絡設備接收所述控制器發送的所述第一全局狀態信息；

所述網絡設備根據所述第一全局狀態信息生成第一流量調度指令；

所述網絡設備根據所述第一流量調度指令對待傳輸的第一數據流進行流量調度；

所述方法還包括：

所述網絡設備獲取所述網絡設備的當前的獎勵值、第一長期獎勵值和第二長期獎勵值，所述當前的獎勵值表示第二流量調度指令在本輪訓練中對流量調度問題的價值大小，所述第一長期獎勵值表示所述第二流量調度指令在本輪訓練及之后的各輪訓練中對流量調度問題的價值大小，所述第二長期獎勵值表示第三流量調度指令在下一輪訓練及之后的各輪訓練中對流量調度問題的價值大小，所述第二流量調度指令為所述網絡設備在所述本輪訓練中根據第二局部狀態信息生成的流量調度指令，所述第三流量調度指令為所述第二流量調度指令的下一條流量調度指令；

所述網絡設備根據所述當前的獎勵值、所述第一長期獎勵值和所述第二長期獎勵值訓練第一神經網絡的參數，所述第一流量調度指令是基于訓練后的第一神經網絡得到的。

2.根據權利要求1所述的方法，其特征在于，所述第一局部狀態信息和所述第一流量調度指令是基于訓練后的第一神經網絡得到的。

3.根據權利要求1所述的方法，其特征在于，所述網絡設備獲取所述網絡設備的當前的獎勵值、第一長期獎勵值和第二長期獎勵值，包括：

所述網絡設備根據所述第二流量調度指令和所述第二局部狀態信息，生成第一局部傳輸消息；

所述網絡設備向所述控制器發送所述第一局部傳輸消息，所述第一局部傳輸消息用于生成所述網絡設備的第一全局傳輸消息；

所述網絡設備接收所述控制器發送的所述第一全局傳輸消息；

所述網絡設備根據所述第二流量調度指令對待傳輸的第二數據流進行流量調度，以確定所述當前的獎勵值，并根據所述第二流量調度指令、所述第二局部狀態信息和所述第一全局傳輸消息生成所述第一長期獎勵值；

所述網絡設備根據所述第三流量調度指令和第三局部狀態信息，生成第二局部傳輸消息，所述第三局部狀態信息用于生成所述第三流量調度指令；

所述網絡設備向所述控制器發送所述第二局部傳輸消息，所述第二局部傳輸消息用于生成所述網絡設備的第二全局傳輸消息；

所述網絡設備接收所述控制器發送的所述第二全局傳輸消息；

所述網絡設備根據所述第三流量調度指令、所述第三局部狀態信息和所述第二全局傳輸消息生成所述第二長期獎勵值。

4.根據權利要求3所述的方法，其特征在于，所述局部傳輸消息、第一長期獎勵值和第二長期獎勵值是基于訓練后的第三神經網絡得到的，或者，所述第一長期獎勵值和第二長期獎勵值是基于訓練后的第三神經網絡得到的；

所述方法還包括：

所述網絡設備對訓練前的所述第三神經網絡進行多輪訓練。

5.根據權利要求4所述的方法，其特征在于，所述網絡設備對訓練前的所述第三神經網絡進行的所述多輪訓練中的每輪訓練，包括：

所述網絡設備根據所述第一長期獎勵值和所述第一神經網絡中的一個神經網絡層，訓練所述第三神經網絡的參數，所述一個神經網絡層用于根據局部狀態信息生成流量調度指令。