[發明專利]流量調度方法及裝置

有效

• 申請號: 201811505121.6
• 申請日: 2018-12-10
• 公開（公告）號: CN111294284B
• 公開（公告）日: 2022-04-26
• 發明（設計）人: 毛航宇;張正超;肖臻;倪炎;龔志波
• 申請（專利權）人: 華為技術有限公司;北京大學
• 主分類號: H04L47/10
• 分類號: H04L47/10
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 朱穎;劉芳

本申請提供一種流量調度方法及裝置。包括：網絡設備向控制器發送網絡設備的第一局部狀態信息，第一局部狀態信息用于生成網絡設備的第一全局狀態信息；網絡設備接收控制器發送的第一全局狀態信息；網絡設備根據第一全局狀態信息生成第一流量調度指令，網絡設備接收控制器發送的第一流量調度指令，網絡設備根據第一流量調度指令對待傳輸的第一數據流進行流量調度。由于各個網絡設備無需采用廣播方式實現通信，而是與控制器進行通信，控制器基于各個局部狀態信息生成全局狀態信息，從而解決了通信量過大的問題。

技術領域

本申請涉及通信技術領域，尤其涉及一種流量調度方法及裝置。

背景技術

網絡流量調度是指為待傳輸的數據流生成流量調度指令，通過該流量調度指令進行流量調度的過程。例如：流量調度指令可以是待傳輸的數據流在至少一條鏈路上的流量調度比例。而對于用戶來講，待傳輸的數據流的傳輸時間越短、網絡擁塞程度最小，則表示網絡的可靠性越高。

現有技術提供了深度強化學習方式來為待傳輸的數據流生成流量調度指令，為每個路由器訓練一個深度神經網絡(Deep Neural Network，DNN)，通過訓練后的DNN確定待傳輸的數據流生成流量調度指令。其中，在該深度強化學習方式中，一個路由器需要向其他路由器發送廣播消息，并且接收其他路由器發送的廣播消息，這些廣播消息作為訓練后的DNN的輸入參數，以得到該路由器的流量調度指令，這種廣播方式勢必造成通信量過大的問題。

發明內容

本申請提供一種流量調度方法及裝置。由于各個網絡設備無需采用廣播方式實現通信，而是與控制器進行通信，控制器基于各個局部狀態信息生成全局狀態信息，從而解決了通信量過大的問題。

第一方面，本申請提供一種流量調度方法，包括：網絡設備向控制器發送網絡設備的第一局部狀態信息，第一局部狀態信息用于生成網絡設備的第一全局狀態信息；網絡設備接收控制器發送的第一全局狀態信息；網絡設備根據第一全局狀態信息生成第一流量調度指令，網絡設備接收控制器發送的第一流量調度指令，網絡設備根據第一流量調度指令對待傳輸的第一數據流進行流量調度。

本申請有益效果包括：由于各個網絡設備無需采用廣播方式實現通信，而是與控制器進行通信，控制器基于各個局部狀態信息生成全局狀態信息，從而解決了通信量過大的問題。在一種可能的設計中，本申請技術方案可以與Actor-Critic和深度學習結合，而Actor-Critic本身是無模型，從而可以解決非平穩訓練問題。

在一種可能的設計中，第一局部狀態信息和第一流量調度指令是基于訓練后的第一神經網絡得到的，或者，第一流量調度指令是基于訓練后的第一神經網絡得到的；方法還包括：網絡設備對訓練前的第一神經網絡進行多輪訓練。

在一種可能的設計中，網絡設備對訓練前的第一神經網絡進行的多輪訓練中的每輪訓練，包括：網絡設備獲取網絡設備的當前的獎勵值、第一長期獎勵值和第二長期獎勵值，當前的獎勵值表示第二流量調度指令在本輪訓練中對流量調度問題的價值大小，第一長期獎勵值表示第二流量調度指令在本輪訓練及之后的各輪訓練中對流量調度問題的價值大小，第二長期獎勵值表示第三流量調度指令在下一輪訓練及之后的各輪訓練中對流量調度問題的價值大小，第二流量調度指令為網絡設備在本輪訓練中根據第二局部狀態信息生成的流量調度指令，第三流量調度指令為第二流量調度指令的下一條流量調度指令；網絡設備根據當前的獎勵值、第一長期獎勵值和第二長期獎勵值訓練第一神經網絡的參數。

這種可能的設計帶來的有益效果包括：在訓練第一神經網絡過程中，由于各個網絡設備無需采用廣播方式實現通信，而是與控制器進行通信，控制器基于各個局部狀態信息生成全局狀態信息，從而解決了通信量過大的問題。