[發明專利]基于強化學習的集群調度系統

在審

• 申請號: 201810658015.5
• 申請日: 2018-06-25
• 公開（公告）號: CN108874545A
• 公開（公告）日: 2018-11-23
• 發明（設計）人: 王新雷
• 申請（專利權）人: 曙光信息產業（北京）有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京蘭亭信通知識產權代理有限公司 11667
• 代理人: 趙永剛

1.一種基于強化學習的集群調度系統，其特征在于，所述集群調度系統包括連接至少一個計算節點的調度節點，所述調度節點包括集群作業管理器和基于強化學習的負載均衡器；

所述集群作業管理器，接收所述基于強化學習的負載均衡器時鐘間隔為△t的中斷請求，并接收到所述中斷請求后發送當前集群的運算狀態至所述基于強化學習的負載均衡器；

所述基于強化學習的負載均衡器，根據采集到的所述當前集群的運算狀態由計算節點狀態向量組成的集群狀態矩陣S，根據所述集群狀態矩陣S判斷各個計算節點未來宕機或者報錯概率，反饋調優動作a至所述集群作業管理器，計算當前中斷時刻t的動作回報r，并利用強化學習方式構建基于各個計算節點的節點溫度、資源利用率、作業總數以及所述集群狀態矩陣S的Q函數模型，以估計每一中斷時刻的集群狀態矩陣S所對應的預期未來收益值Q，從而獲得當前中斷時刻t應對集群采用的優化操作。

2.根據權利要求1所述的系統，其特征在于，所述當前集群的運算狀態包括所述至少一個計算節點的實時信息，其中，所述實時信息包括計算節點編號、計算節點健康度和作業應用類型。

3.根據權利要求2所述的系統，其特征在于，所述計算節點狀態向量包括計算節點編號、計算節點健康度和作業應用類型。

4.根據權利要求1所述的系統，其特征在于，所述當前中斷時刻t對應的動作回報使用集群健康度增加的幅度來表示，具體表示如下：

r_t＝t+1時刻的集群健康度-t時刻的集群健康度。

5.根據權利要求1所述的系統，其特征在于，所述預期未來收益值Q用于表示所有作業完成時集群健康度的累積增加量。

6.根據權利要求1所述的系統，其特征在于，所述當前中斷時刻t應對集群采用的優化操作為在有限的動作a中選取使得Q+r值最大的動作。

7.根據權利要求1所述的系統，其特征在于，所述調優動作包括重啟應用、關閉進程和重啟節點。