[發明專利]集群任務的資源分配方法及裝置、計算機裝置及存儲介質

有效

• 申請號: 202010183616.2
• 申請日: 2020-03-16
• 公開（公告）號: CN111381970B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 李文昊;劉一鳴
• 申請（專利權）人: 第四范式（北京）技術有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F18/23213
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 安偉

1.一種集群任務的資源分配方法，其特征在于，包括：

獲取待處理集群任務的任務特征信息；

基于所述待處理集群任務的任務特征信息確定所述待處理集群任務的任務類別，以及確定與所述待處理集群任務的任務類別對應的資源預測模型；

基于所述待處理集群任務的任務特征信息，以及所述對應的資源預測模型，獲取所述待處理集群任務的資源需求信息；

根據所述待處理集群任務的資源需求信息為所述待處理集群任務進行資源分配；

所述方法還包括：

獲取已完成集群任務的任務特征信息；

基于所述已完成集群任務的任務特征信息，通過預設的聚類算法進行聚類處理，以獲取所述集群任務的任務類別，以及每個任務類別對應的聚類標準；

其中，所述基于所述待處理集群任務的任務特征信息確定所述待處理集群任務的任務類別包括：基于所述待處理集群任務的任務特征信息，以及每個任務類別對應的聚類標準，獲取所述待處理集群任務的任務類別；

所述方法還包括：

獲取新完成集群任務的資源使用信息；

根據所述新完成集群任務的資源使用信息，對所述資源預測模型進行修正。

2.根據權利要求1所述的方法，其特征在于，所述任務特征信息包括文件大小、文件數目、文件類型、鏡像名稱、鏡像大小、鏡像哈希碼、程序文本長度、外部獲取的數據集大小中的至少一項。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：

獲取每個任務類別的已完成集群任務的資源使用信息；

基于每個任務類別的已完成集群任務的任務特征信息，以及每個任務類別的已完成集群任務的資源使用信息進行模型訓練，以獲取與每個任務類別對應的資源預測模型。

4.根據權利要求3所述的方法，其特征在于，所述資源使用信息包括資源消耗信息、資源使用周期信息、資源異常信息和資源使用峰值信息中的至少一項；

所述資源消耗信息包括CPU消耗信息、GPU消耗信息、內存消耗信息、磁盤消耗信息和網絡資源消耗信息中的至少一項。

5.根據權利要求3所述的方法，其特征在于，所述方法還包括：

獲取每個任務類別的已完成集群任務的任務狀態信息；

所述基于每個任務類別的已完成集群任務的任務特征信息，以及每個任務類別的已完成集群任務的資源使用信息進行模型訓練，以獲取與每個任務類別對應的資源預測模型，包括：

基于所述每個任務類別的已完成集群任務的任務狀態信息對所述資源使用信息進行參數調整；

基于每個任務類別的已完成集群任務的任務特征信息，以及從參數調整后的每個任務類別的已完成集群任務的資源使用信息進行模型訓練，以獲取與每個任務類別對應的資源預測模型。

6.根據權利要求5所述的方法，其特征在于，所述任務狀態信息包括任務成功狀態、任務失敗狀態和任務失敗狀態原因信息中的至少一項。

7.根據權利要求6所述的方法，其特征在于，所述任務失敗狀態原因為內存不足時，則所述基于所述每個任務類別的已完成集群任務的任務狀態信息對所述資源使用信息進行參數調整包括：

使用預設的膨脹系數對所述資源使用信息中的內存消耗信息進行參數調整。

8.根據權利要求5所述的方法，其特征在于，所述預設的聚類算法為K-means算法，所述資源預測模型為樹模型。

9.根據權利要求5所述的方法，其特征在于，所述根據所述新完成集群任務的資源使用信息，對所述資源預測模型進行修正，包括：

根據所述新完成集群任務的資源使用信息，以及基于所述資源預測模型獲取的所述新完成集群任務的資源需求信息，獲取所述新完成集群任務的資源預測誤差；

根據所述資源預測誤差進行所述資源預測模型更新處理、進行重新聚類處理和進行重新模型預測處理中的至少一項。