[發明專利]集群任務的資源分配方法及裝置、計算機裝置及存儲介質

有效

• 申請號: 202010183616.2
• 申請日: 2020-03-16
• 公開（公告）號: CN111381970B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 李文昊;劉一鳴
• 申請（專利權）人: 第四范式（北京）技術有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F18/23213
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 安偉

本發明涉及一種集群任務的資源分配方法及裝置、計算機裝置及存儲介質，其中方法包括獲取待處理集群任務的任務特征信息；基于任務特征信息確定上述待處理集群任務的任務類別，以及確定與上述待處理集群任務的任務類別對應的資源預測模型；基于上述任務特征信息，以及上述對應的資源預測模型，獲取上述待處理集群任務的資源需求信息；根據上述資源需求信息為上述待處理集群任務進行資源分配。本發明實施例提供的技術方案能夠為每個集群任務準確分配所需的資源。

技術領域

本發明涉及計算機技術領域，具體涉及一種集群任務的資源分配方法及裝置、計算機裝置及存儲介質。

背景技術

隨著計算需求的增大，越來越多計算中心提供了集群服務，開發者可以通過向提供集群服務的集群計算中心遠程提交集群任務，以由集群計算中心進行計算，并獲得最終的計算結果。

對于集群計算中心而言，其通常面向的開發者數量眾多，接收到的集群任務的數量也很大，而不同類別的集群任務之間，其所需要的資源之間的差異較大，例如單機的計算密集型任務對網絡資源基本不會有很大依賴，而多機分布式機器學習任務對網絡資源的需求可能會非常大，不同任務類別之間對資源的使用會有很大差別。

現有技術中提供的一種處理方式，是由提交集群任務的開發者對所需要的資源進行設置，然而開發者通常對于具體的資源需求沒有清晰的認知，其提供的資源設置信息往往與實際情況差異較大。

因此，現有技術中存在無法對開發者提交的集群任務的資源需求情況進行準確預測的問題，并容易導致集群計算中心的資源分配不均，以及集群任務由于資源不足無法實現執行的問題。

發明內容

本發明提供了一種集群任務的資源分配方法及裝置、計算機裝置及存儲介質，以解決上述背景技術中存在的至少一個問題。

為了實現上述目的，第一方面，本發明實施例提供了一種集群任務的資源分配方法，包括：

獲取待處理集群任務的任務特征信息；

基于所述待處理集群任務的任務特征信息確定上述待處理集群任務的任務類別，以及確定與上述待處理集群任務的任務類別對應的資源預測模型；

基于上述待處理集群任務的任務特征信息，以及上述對應的資源預測模型，獲取上述待處理集群任務的資源需求信息；

根據上述待處理集群任務的資源需求信息為上述待處理集群任務進行資源分配。

在一些實施例中，上述方法還包括：

獲取已完成集群任務的任務特征信息；

基于上述已完成集群任務的任務特征信息，通過預設的聚類算法進行聚類處理，以獲取上述集群任務的任務類別，以及每個任務類別對應的聚類標準；

上述基于上述待處理集群任務的任務特征信息確定上述待處理集群任務的任務類別包括：

基于上述待處理集群任務的任務特征信息，以及每個任務類別對應的聚類標準，獲取上述待處理集群任務的任務類別。

在一些實施例中，上述任務特征信息包括文件大小、文件數目、文件類型、鏡像名稱、鏡像大小、鏡像哈希碼、程序文本長度、外部獲取的數據集大小中的至少一項。

在一些實施例中，上述方法還包括：

獲取每個任務類別的已完成集群任務的資源使用信息；

基于每個任務類別的已完成集群任務的任務特征信息，以及每個任務類別的已完成集群任務的資源使用信息進行模型訓練，以獲取與每個任務類別對應的資源預測模型。

在一些實施例中，上述資源使用信息包括資源消耗信息、資源使用周期信息、資源異常信息和資源使用峰值信息中的至少一項；