[發明專利]一種任務調度方法和裝置

有效

• 申請號: 201711036985.3
• 申請日: 2017-10-30
• 公開（公告）號: CN109725988B
• 公開（公告）日: 2021-10-01
• 發明（設計）人: 陸韜
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;楊曉偉

1.一種任務調度方法，其特征在于，包括：

將任務調度的時刻作為狀態，將單個任務的調度執行作為動作以構建動作價值函數；

將集群在時間上的平均負載作為獎賞，根據所述獎賞采用強化學習算法對所述動作價值函數進行迭代計算，以得到收斂函數值；

根據所述狀態、動作和收斂函數值進行任務調度；

其中，根據所述狀態、動作和收斂函數值進行任務調度，包括：

根據所述狀態、動作和收斂函數值建立調度表；其中，所述調度表的行代表動作，列代表狀態，每個行列表格中的值為所述狀態和動作對應的收斂函數值；

根據所述調度表，獲取當前狀態對應的最大收斂函數值；

按照所述最大收斂函數值對應的動作進行任務調度。

2.根據權利要求1所述的方法，其特征在于，所述強化學習算法為Q-Learning算法。

3.根據權利要求2所述的方法，其特征在于，所有所述的任務調度的時刻構成狀態集，所有所述的任務的調度執行構成動作集；

當根據所述獎賞采用Q-Learning算法對所述動作價值函數進行迭代計算時，包括：

初始化所述動作價值函數的函數值，設置所述動作價值函數的當前狀態；

根據所述當前狀態和策略，從所述動作集中選擇一個動作；

執行所述動作以得到所述獎賞和下一個狀態；

根據所述獎賞和所述下一個狀態，更新所述動作價值函數；

將所述下一個狀態作為當前狀態，重復迭代直至到達所述狀態集的終止狀態。

4.根據權利要求3所述的方法，其特征在于，所述根據所述獎賞和所述下一個狀態，更新所述動作價值函數的步驟中，更新所述動作價值函數的計算公式為：

Q(s,a)←(1-α)×Q(s,a)+α[R+γmax_aQ(s',a)]

s←s'

其中，s為當前狀態；a為動作；Q(s,a)為動作價值函數，表示在當前狀態s執行動作a所獲得的收斂函數值；α為學習率；R為獎賞；γ為折扣因子；s'為下一狀態；max_aQ(s',a)為下一狀態s'所采取動作的最大收斂函數值。

5.根據權利要求1所述的方法，其特征在于，所述根據所述狀態、動作和收斂函數值進行任務調度的步驟之后，還包括：當需要調度的任務發生改變時，根據當前狀態和策略對所述調度表進行更新。

6.一種任務調度裝置，其特征在于，包括：

函數構建模塊，用于將任務調度的時刻作為狀態，將單個任務的調度執行作為動作以構建動作價值函數；

迭代計算模塊，用于將集群在時間上的平均負載作為獎賞，根據所述獎賞采用強化學習算法對所述動作價值函數進行迭代計算，以得到收斂函數值；

任務調度模塊，用于根據所述狀態、動作和收斂函數值進行任務調度；其中，根據所述狀態、動作和收斂函數值進行任務調度，包括：

根據所述狀態、動作和收斂函數值建立調度表；其中，所述調度表的行代表動作，列代表狀態，每個行列表格中的值為所述狀態和動作對應的收斂函數值；

根據所述調度表找出當前狀態對應的最大收斂函數值；

按照所述最大收斂函數值對應的動作進行任務調度。

7.根據權利要求6所述的裝置，其特征在于，所述強化學習算法為Q-Learning算法。

8.根據權利要求7所述的裝置，其特征在于，所有所述的任務調度的時刻構成狀態集，所有所述的任務的調度執行構成動作集；

所述迭代計算模塊，還用于：

初始化所述動作價值函數的函數值，設置所述動作價值函數的當前狀態；

根據所述當前狀態和策略，從所述動作集中選擇一個動作；

執行所述動作以得到所述獎賞和下一個狀態；

根據所述獎賞和所述下一個狀態，更新所述動作價值函數；

將所述下一個狀態作為當前狀態，重復迭代直至到達所述狀態集的終止狀態。