[發(fā)明專利]基于Q學習的資源調(diào)度方法和裝置

有效

• 申請?zhí)枺?/td>: 201680056785.1
• 申請日: 2016-05-24
• 公開（公告）號: CN108139930B
• 公開（公告）日: 2021-08-20
• 發(fā)明（設(shè)計）人: 亞伊·阿里安;夏伊·霍羅威茨;鄭淼
• 申請（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京龍雙利達知識產(chǎn)權(quán)代理有限公司 11329
• 代理人: 時林;毛威

1.一種基于Q學習的資源調(diào)度方法，應(yīng)用于數(shù)據(jù)中心，其特征在于，包括：

在第一反饋周期，根據(jù)應(yīng)用的多個狀態(tài)-動作組合中的第一狀態(tài)-動作組合的回報值，將所述第一狀態(tài)-動作組合對應(yīng)的Q值更新為第一數(shù)值，其中，所述第一狀態(tài)-動作組合表示當所述應(yīng)用處于第一狀態(tài)時執(zhí)行第一動作，所述第一狀態(tài)為所述應(yīng)用在早于所述第一反饋周期的第二反饋周期所處的狀態(tài)，所述第一動作用于對分配給所述應(yīng)用的資源數(shù)量進行調(diào)整處理；

在所述第一反饋周期，根據(jù)所述第一數(shù)值，更新所述多個狀態(tài)-動作組合中不同于所述第一狀態(tài)-動作組合的至少一個狀態(tài)-動作組合對應(yīng)的Q值；

在當前狀態(tài)所對應(yīng)的至少兩個狀態(tài)-動作組合中，確定具有最大Q值的狀態(tài)-動作組合所對應(yīng)的動作，其中，所述當前狀態(tài)為所述應(yīng)用在所述第一反饋周期所處的狀態(tài)；

在所述第一反饋周期，根據(jù)所述具有最大Q值的狀態(tài)-動作組合所對應(yīng)的動作，對分配給所述應(yīng)用的資源數(shù)量進行調(diào)整處理。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述至少一個狀態(tài)-動作組合包括第二狀態(tài)-動作組合，所述第二狀態(tài)-動作組合表示當所述應(yīng)用處于所述第一狀態(tài)時執(zhí)行不同于所述第一動作的第二動作；

所述根據(jù)所述第一數(shù)值，更新所述多個狀態(tài)-動作組合中不同于所述第一狀態(tài)-動作組合的至少一個狀態(tài)-動作組合對應(yīng)的Q值，包括：

根據(jù)所述第一數(shù)值以及所述第二動作相比于所述第一動作對于分配給所述應(yīng)用的資源數(shù)量的調(diào)整方向，更新所述第二狀態(tài)-動作組合對應(yīng)的Q值。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述第一數(shù)值以及所述第二動作相比于所述第一動作對于分配給所述應(yīng)用的資源數(shù)量的調(diào)整方向，更新所述第二狀態(tài)-動作組合對應(yīng)的Q值，包括：

若所述回報值小于零并且所述第二動作相比于所述第一動作對分配給所述應(yīng)用的資源數(shù)量朝著增加數(shù)量的方向調(diào)整，將所述第二狀態(tài)-動作組合對應(yīng)的Q值更新為小于所述第一數(shù)值的數(shù)值；和/或

若所述回報值小于零并且所述第二動作相比于所述第一動作對分配給所述應(yīng)用的資源數(shù)量朝著減少數(shù)量的方向調(diào)整，將所述第二狀態(tài)-動作組合對應(yīng)的Q值更新為大于所述第一數(shù)值的數(shù)值。

4.根據(jù)權(quán)利要求1至3中任一項所述的方法，其特征在于，所述至少一個狀態(tài)-動作組合還包括至少一個第三狀態(tài)-動作組合，所述第三狀態(tài)-動作組合表示當所述應(yīng)用處于所述第一狀態(tài)時執(zhí)行不同于所述第一動作的動作；

所述根據(jù)所述第一數(shù)值，更新所述多個狀態(tài)-動作組合中不同于所述第一狀態(tài)-動作組合的至少一個狀態(tài)-動作組合對應(yīng)的Q值，包括：

根據(jù)所述第一數(shù)值，更新所述至少一個第三狀態(tài)-動作組合中每個第三狀態(tài)-動作組合對應(yīng)的Q值，以使得在以目標動作為起點且在朝著增加分配給所述應(yīng)用的資源數(shù)量的方向上，所述第一狀態(tài)對應(yīng)的狀態(tài)-動作組合對應(yīng)的Q值單調(diào)性減小，和/或以使得在以所述目標動作為起點且在朝著減少分配給所述應(yīng)用的資源數(shù)量的方向上，所述第一狀態(tài)對應(yīng)的狀態(tài)-動作組合對應(yīng)的Q值單調(diào)性減小，其中，在所述第一狀態(tài)對應(yīng)的所有狀態(tài)-動作組合中，所述目標動作與所述第一狀態(tài)構(gòu)成的狀態(tài)-動作組合對應(yīng)的Q值最大。

5.根據(jù)權(quán)利要求1至3中任一項所述的方法，其特征在于，所述至少一個狀態(tài)-動作組合包括第四狀態(tài)-動作組合，所述第四狀態(tài)-動作組合表示當所述應(yīng)用處于不同于所述第一狀態(tài)的第二狀態(tài)時執(zhí)行所述第一動作；

所述根據(jù)所述第一數(shù)值，更新所述多個狀態(tài)-動作組合中不同于所述第一狀態(tài)-動作組合的至少一個狀態(tài)-動作組合對應(yīng)的Q值，包括：

根據(jù)所述第一數(shù)值以及所述第一狀態(tài)和所述第二狀態(tài)的狀態(tài)特征參數(shù)的值，更新所述第四狀態(tài)-動作組合對應(yīng)的Q值。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述狀態(tài)特征參數(shù)包括平均資源占用率；

所述根據(jù)所述第一數(shù)值以及所述第一狀態(tài)和所述第二狀態(tài)的狀態(tài)特征參數(shù)的值，更新所述第四狀態(tài)-動作組合對應(yīng)的Q值，包括：

若所述回報值小于零并且所述第二狀態(tài)的平均資源占用率的值高于所述第一狀態(tài)的平均資源占用率的值，將所述第四狀態(tài)-動作組合對應(yīng)的Q值更新為小于所述第一數(shù)值的數(shù)值。