[發明專利]分布式計算系統中資源調度的方法和裝置

有效

• 申請號: 201910581172.5
• 申請日: 2019-06-29
• 公開（公告）號: CN112148471B
• 公開（公告）日: 2023-07-07
• 發明（設計）人: 王力;劉懷忠;何偉
• 申請（專利權）人: 華為技術服務有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京龍雙利達知識產權代理有限公司 11329
• 代理人: 張欣;王君

本申請提供了提供一種分布式計算系統中資源調度的方法和裝置，該方法包括：獲取所述分布式計算系統中待處理的批任務中每個spark任務的累積分配資源；根據所述批任務中每個spark任務的累積分配資源，為所述批任務中每個spark任務分配執行器。在本申請實施例中，基于批任務中每個spark任務的累積分配資源，為所述批任務中每個spark任務分配執行器，有利于縮短分布式計算系統處理批任務的時間。避免了傳統的資源分配時，僅基于工作節點的處理能力為批任務分配執行器。導致小任務被分配的執行器的規格較高，大任務被分配的規格較小，導致小的任務早早被處理完成，大的任務還在被執行，總體上使得批任務的處理時間較長。

技術領域

本申請涉及信息技術領域，并且更具體地，涉及分布式計算系統中資源調度的方法和裝置。

背景技術

Spark提供的彈性分布式數據集(Resilient?Distributed?Dataset，RDD)技術可以在內存中的迭代計算，與MapReduce相比性能大幅度提升，成為非常流行的開源分布式計算框架。Spark通常與hadoop一起部署，替代hadoop中的MapReduce組件提供計算功能，同時利用hadoop的分布式文件系統(Hadoop?Distributed?File?System，HDFS)做為存儲組件，利用hadoop的另一種資源協調者(Yet?Another?Resource?Negotiator，Yarn)做資源管理組件，以此提供分布式計算服務。

通常，在用戶提交一個Spark作業之后，這個Spark作業就會啟動一個對應的驅動(driver)進程。驅動進程需要向集群管理器申請運行Spark作業的執行器(executor)。相應地，集群管理器會根據用戶為Spark作業設置的資源參數，在集群中的各個工作節點上，啟動一定數量的執行器，每個執行器都占有一定數量的內存和CPU?core。在申請到執行Spark作業所需的資源之后，驅動進程會將Spark作業拆為多個階段(stage)，每個階段執行一部分Spark作業。為了提高執行Spark作業的每個階段的速度，會進一步為每個階段創建一批Spark任務，即批任務。然后將批任務分配到各個執行器并行處理。

對于批任務而言，直到批任務中的最后一個任務被處理完成，該批任務才算被真正的處理完成，目前，在為批任務申請資源時，通常是基于工作節點的處理能力為批任務分配執行器。此時，有可能小任務被分配的執行器的規格較高，大任務被分配的規格較小，導致小的任務早早被處理完成，大的任務還在被執行，總體上使得批任務的處理時間較長。

發明內容

本申請提供一種分布式計算系統中資源調度的方法和裝置，以合理為spark任務分配計算資源，有利于縮短分布式計算系統處理批任務的時間。

第一方面，提供一種分布式計算系統中資源調度的方法，包括：獲取所述分布式計算系統中待處理的批任務中每個spark任務的累積分配資源；根據所述批任務中每個spark任務的累積分配資源，為所述批任務中每個spark任務分配執行器。

在本申請實施例中，基于批任務中每個spark任務的累積分配資源，為所述批任務中每個spark任務分配執行器，有利于縮短分布式計算系統處理批任務的時間。避免了傳統的資源分配時，僅基于工作節點的處理能力為批任務分配執行器。導致小任務被分配的執行器的規格較高，大任務被分配的規格較小，導致小的任務早早被處理完成，大的任務還在被執行，總體上使得批任務的處理時間較長。