[發明專利]一種資源分配方法及資源管理器

有效

• 申請號: 201610080980.X
• 申請日: 2016-02-05
• 公開（公告）號: CN107045456B
• 公開（公告）日: 2020-03-10
• 發明（設計）人: 辛現銀
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京中博世達專利商標代理有限公司 11274
• 代理人: 申健

本發明實施例提供一種資源分配方法及資源管理器，用于提高資源利用率，和/或，用于提升用戶作業的執行效率。該方法包括：接收客戶端設備提交的作業，并將該作業分解為多個任務，其中，該多個任務中的每個任務均配置有相對應的資源需求量；估計每個任務的運行時間；根據每個任務對應的資源需求量和運行時間，結合預設的調度策略，確定該多個任務的第一分配位形，該第一分配位形用于指示該多個任務在多個計算節點中的可運行計算節點上的分布情況，該調度策略包括資源利用率優先策略和效率優先策略中的至少一種；將該多個任務按照第一分配位形分配到該多個任務的可運行計算節點上。本發明適用于高性能集群領域。

技術領域

本發明涉及高性能集群領域，尤其涉及一種資源分配方法及資源管理器。

背景技術

互聯網的高速發展產生了大量的用戶數據，分布式處理則是處理大規模數據集的標準手段。它的典型模式是將一個用戶作業(英文：Job)分解為一系列可分布式運行的任務(英文：Task)，并通過調度器(英文：Scheduler)將這些任務調度到合適的節點(英文：node)上進行運算。任務運行完成之后，將任務的運行結果做歸集、整理，形成作業最終的結果輸出。

調度器是集群資源與用戶作業的耦合點。調度策略的好壞直接影響了整個集群的資源利用率和用戶作業的執行效率。目前廣泛應用的Hadoop系統的調度策略如圖1所示。其中，Hadoop將有資源需求的Task按照一定的策略，如主資源公平(英文全稱：dominantresource fairness，英文縮寫：DRF)策略)排隊，而各個節點通過心跳上報本節點上的資源量，并觸發分配機制。若該節點上的資源量滿足第一個Task的需求，調度器便將該Task安放在該節點上。然而，該調度策略僅考慮到了資源的公平性，比較單一，并不能根據不同場景需要靈活地選擇資源利用率優先策略和效率優先策略來進行資源分配，從而無法使得集群資源的利用率較高，和/或，用戶作業的執行效率較高。

發明內容

本發明實施例提供一種資源分配方法及資源管理器，用于靈活選擇資源利用率優先策略和效率優先策略來進行資源分配，從而提高資源利用率，和/或，提升用戶作業的執行效率。

為達到上述目的，本發明實施例提供如下技術方案：

第一方面，提供一種分布式計算系統中的資源分配方法，該分布式計算系統包括多個計算節點，該方法包括：接收客戶端設備提交的作業，并將該作業分解為多個任務，其中，該多個任務中的每個任務均配置有相對應的資源需求量；估計每個任務的運行時間；根據每個任務對應的資源需求量和運行時間，結合預設的調度策略，確定該多個任務的第一分配位形，該第一分配位形用于指示該多個任務在多個計算節點中的可運行計算節點上的分布情況，該調度策略包括資源利用率優先策略和效率優先策略中的至少一種；將該多個任務按照第一分配位形分配到該多個任務的可運行計算節點上。