[發(fā)明專利]流量調(diào)度方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201811505121.6
• 申請(qǐng)日: 2018-12-10
• 公開(kāi)（公告）號(hào): CN111294284B
• 公開(kāi)（公告）日: 2022-04-26
• 發(fā)明（設(shè)計(jì)）人: 毛航宇;張正超;肖臻;倪炎;龔志波
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司;北京大學(xué)
• 主分類號(hào): H04L47/10
• 分類號(hào): H04L47/10
• 代理公司: 北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司 11205
• 代理人: 朱穎;劉芳

1.一種流量調(diào)度方法，其特征在于，包括：

網(wǎng)絡(luò)設(shè)備向控制器發(fā)送所述網(wǎng)絡(luò)設(shè)備的第一局部狀態(tài)信息，所述第一局部狀態(tài)信息用于生成所述網(wǎng)絡(luò)設(shè)備的第一全局狀態(tài)信息；

所述網(wǎng)絡(luò)設(shè)備接收所述控制器發(fā)送的所述第一全局狀態(tài)信息；

所述網(wǎng)絡(luò)設(shè)備根據(jù)所述第一全局狀態(tài)信息生成第一流量調(diào)度指令；

所述網(wǎng)絡(luò)設(shè)備根據(jù)所述第一流量調(diào)度指令對(duì)待傳輸?shù)牡谝粩?shù)據(jù)流進(jìn)行流量調(diào)度；

所述方法還包括：

所述網(wǎng)絡(luò)設(shè)備獲取所述網(wǎng)絡(luò)設(shè)備的當(dāng)前的獎(jiǎng)勵(lì)值、第一長(zhǎng)期獎(jiǎng)勵(lì)值和第二長(zhǎng)期獎(jiǎng)勵(lì)值，所述當(dāng)前的獎(jiǎng)勵(lì)值表示第二流量調(diào)度指令在本輪訓(xùn)練中對(duì)流量調(diào)度問(wèn)題的價(jià)值大小，所述第一長(zhǎng)期獎(jiǎng)勵(lì)值表示所述第二流量調(diào)度指令在本輪訓(xùn)練及之后的各輪訓(xùn)練中對(duì)流量調(diào)度問(wèn)題的價(jià)值大小，所述第二長(zhǎng)期獎(jiǎng)勵(lì)值表示第三流量調(diào)度指令在下一輪訓(xùn)練及之后的各輪訓(xùn)練中對(duì)流量調(diào)度問(wèn)題的價(jià)值大小，所述第二流量調(diào)度指令為所述網(wǎng)絡(luò)設(shè)備在所述本輪訓(xùn)練中根據(jù)第二局部狀態(tài)信息生成的流量調(diào)度指令，所述第三流量調(diào)度指令為所述第二流量調(diào)度指令的下一條流量調(diào)度指令；

所述網(wǎng)絡(luò)設(shè)備根據(jù)所述當(dāng)前的獎(jiǎng)勵(lì)值、所述第一長(zhǎng)期獎(jiǎng)勵(lì)值和所述第二長(zhǎng)期獎(jiǎng)勵(lì)值訓(xùn)練第一神經(jīng)網(wǎng)絡(luò)的參數(shù)，所述第一流量調(diào)度指令是基于訓(xùn)練后的第一神經(jīng)網(wǎng)絡(luò)得到的。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一局部狀態(tài)信息和所述第一流量調(diào)度指令是基于訓(xùn)練后的第一神經(jīng)網(wǎng)絡(luò)得到的。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述網(wǎng)絡(luò)設(shè)備獲取所述網(wǎng)絡(luò)設(shè)備的當(dāng)前的獎(jiǎng)勵(lì)值、第一長(zhǎng)期獎(jiǎng)勵(lì)值和第二長(zhǎng)期獎(jiǎng)勵(lì)值，包括：

所述網(wǎng)絡(luò)設(shè)備根據(jù)所述第二流量調(diào)度指令和所述第二局部狀態(tài)信息，生成第一局部傳輸消息；

所述網(wǎng)絡(luò)設(shè)備向所述控制器發(fā)送所述第一局部傳輸消息，所述第一局部傳輸消息用于生成所述網(wǎng)絡(luò)設(shè)備的第一全局傳輸消息；

所述網(wǎng)絡(luò)設(shè)備接收所述控制器發(fā)送的所述第一全局傳輸消息；

所述網(wǎng)絡(luò)設(shè)備根據(jù)所述第二流量調(diào)度指令對(duì)待傳輸?shù)牡诙?shù)據(jù)流進(jìn)行流量調(diào)度，以確定所述當(dāng)前的獎(jiǎng)勵(lì)值，并根據(jù)所述第二流量調(diào)度指令、所述第二局部狀態(tài)信息和所述第一全局傳輸消息生成所述第一長(zhǎng)期獎(jiǎng)勵(lì)值；

所述網(wǎng)絡(luò)設(shè)備根據(jù)所述第三流量調(diào)度指令和第三局部狀態(tài)信息，生成第二局部傳輸消息，所述第三局部狀態(tài)信息用于生成所述第三流量調(diào)度指令；

所述網(wǎng)絡(luò)設(shè)備向所述控制器發(fā)送所述第二局部傳輸消息，所述第二局部傳輸消息用于生成所述網(wǎng)絡(luò)設(shè)備的第二全局傳輸消息；

所述網(wǎng)絡(luò)設(shè)備接收所述控制器發(fā)送的所述第二全局傳輸消息；

所述網(wǎng)絡(luò)設(shè)備根據(jù)所述第三流量調(diào)度指令、所述第三局部狀態(tài)信息和所述第二全局傳輸消息生成所述第二長(zhǎng)期獎(jiǎng)勵(lì)值。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述局部傳輸消息、第一長(zhǎng)期獎(jiǎng)勵(lì)值和第二長(zhǎng)期獎(jiǎng)勵(lì)值是基于訓(xùn)練后的第三神經(jīng)網(wǎng)絡(luò)得到的，或者，所述第一長(zhǎng)期獎(jiǎng)勵(lì)值和第二長(zhǎng)期獎(jiǎng)勵(lì)值是基于訓(xùn)練后的第三神經(jīng)網(wǎng)絡(luò)得到的；

所述方法還包括：

所述網(wǎng)絡(luò)設(shè)備對(duì)訓(xùn)練前的所述第三神經(jīng)網(wǎng)絡(luò)進(jìn)行多輪訓(xùn)練。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述網(wǎng)絡(luò)設(shè)備對(duì)訓(xùn)練前的所述第三神經(jīng)網(wǎng)絡(luò)進(jìn)行的所述多輪訓(xùn)練中的每輪訓(xùn)練，包括：

所述網(wǎng)絡(luò)設(shè)備根據(jù)所述第一長(zhǎng)期獎(jiǎng)勵(lì)值和所述第一神經(jīng)網(wǎng)絡(luò)中的一個(gè)神經(jīng)網(wǎng)絡(luò)層，訓(xùn)練所述第三神經(jīng)網(wǎng)絡(luò)的參數(shù)，所述一個(gè)神經(jīng)網(wǎng)絡(luò)層用于根據(jù)局部狀態(tài)信息生成流量調(diào)度指令。