[發明專利]一種任務調度方法和裝置

有效

• 申請號: 201711036985.3
• 申請日: 2017-10-30
• 公開（公告）號: CN109725988B
• 公開（公告）日: 2021-10-01
• 發明（設計）人: 陸韜
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;楊曉偉

本發明公開了一種任務調度方法和裝置，涉及計算機技術領域。該方法的一具體實施方式包括：將任務調度的時刻作為狀態，將單個任務的調度執行作為動作以構建動作價值函數；將集群在時間上的平均負載作為獎賞，根據所述獎賞采用強化學習算法對所述動作價值函數進行迭代計算，以得到收斂函數值；根據所述狀態、動作和收斂函數值進行任務調度。該實施方式采用強化學習算法進行任務調度，使得集群的負載在時間維度上平均化，進而能夠最大化合理利用集群資源。

技術領域

本發明涉及計算機領域，尤其涉及一種任務調度方法和裝置。

背景技術

現有技術在進行任務調度時，由管理者或者使用者自行對集群資源進行配置管理。對使用者來說，可以指定任務開始的時刻和任務的優先級，比如指定任務腳本于八點開始，優先級高于一般任務。對管理者來說，一般傾向于對于集群資源的配置管理，比如指定集群的中央處理器(Central Processing Unit，CPU)的使用率和集群內存的使用率。

在實現本發明過程中，發明人發現現有技術中至少存在如下問題：現有技術對集群資源的管理過度依賴人為配置，以致集群負載不均衡，集群資源不能合理利用。比如，對于頁面瀏覽量(Page View，PV)的統計任務，使用者通過定時設定該任務在早上八點開始，如果大家都集中在這個時段生產數據，就會造成該時段集群負載過大，數據生產速度過慢；如果一味添加硬件資源，又會導致其他時段(比如凌晨)比較空閑，造成集群資源的浪費。

發明內容

有鑒于此，本發明實施例提供一種任務調度方法和裝置，通過強化學習算法計算動作價值函數的收斂函數值，然后根據狀態對應的收斂函數值決定任務的調度執行。本實施例采用強化學習算法進行任務調度，使得集群的負載在時間維度上平均化，進而能夠最大化合理利用集群資源。

為實現上述目的，根據本發明實施例的一個方面，提供了一種任務調度方法。

本發明實施例的一種任務調度方法，包括：將任務調度的時刻作為狀態，將單個任務的調度執行作為動作以構建動作價值函數；將集群在時間上的平均負載作為獎賞，根據所述獎賞采用強化學習算法對所述動作價值函數進行迭代計算，以得到收斂函數值；根據所述狀態、動作和收斂函數值進行任務調度。

可選地，所述強化學習算法為Q-Learning算法。

可選地，所有所述的任務調度的時刻構成狀態集，所有所述的任務的調度執行構成動作集；當根據所述獎賞采用Q-Learning算法對所述動作價值函數進行迭代計算時，包括：初始化所述動作價值函數的函數值，設置所述動作價值函數的當前狀態；根據所述當前狀態和策略，從所述動作集中選擇一個動作；執行所述動作以得到所述獎賞和下一個狀態；根據所述獎賞和所述下一個狀態，更新所述動作價值函數；將所述下一個狀態作為當前狀態，重復迭代直至到達所述狀態集的終止狀態。

可選地，所述根據所述獎賞和所述下一個狀態，更新所述動作價值函數的步驟中，更新所述動作價值函數的計算公式為：

Q(s,a)←(1-α)×Q(s,a)+α[R+γmax_aQ(s',a)]

s←s'

其中，s為當前狀態；a為動作；Q(s,a)為動作價值函數，表示在當前狀態s執行動作a所獲得的收斂函數值；α為學習率；R為獎賞；γ為折扣因子；s'為下一狀態；max_aQ(s',a)為下一狀態s'所采取動作的最大收斂函數值。

可選地，所述根據所述狀態、動作和收斂函數值進行任務調度，包括：根據所述狀態、動作和收斂函數值建立調度表；其中，所述調度表的行代表動作，列代表狀態，每個行列表格中的值為所述狀態和動作對應的收斂函數值；根據所述調度表，獲取當前狀態對應的最大收斂函數值；按照所述最大收斂函數值對應的動作進行任務調度。