[發明專利]一種資源調度方法、裝置及計算機設備

有效

• 申請號: 201910711579.5
• 申請日: 2019-08-02
• 公開（公告）號: CN110442454B
• 公開（公告）日: 2022-06-24
• 發明（設計）人: 李棟;馬鵬程
• 申請（專利權）人: 聯想（北京）有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張雪嬌

本申請涉及一種資源調度方法、裝置及計算機設備，該方法針對待處理的第一任務，在基于申請到的資源為其構建多個計算單元后，進一步將各計算單元處理為至少包括靜態與動態兩種類型，之后針對第一任務的數據存儲需求，利用靜態計算單元的資源來存儲數據，而針對第一任務空閑時的資源釋放需求，則釋放掉至少部分動態計算單元及其資源。由此，本申請通過將第一任務的計算單元處理為靜態與動態兩種類型，并區別化地、有選擇性地利用靜態計算單元的資源進行數據存儲、利用動態計算單元及其資源參與資源釋放，實現了在保證緩存(或持久化)數據完整的情況下，對計算資源進行動態管理，可有效緩解Spark等計算平臺中計算性能與資源占用相矛盾的問題。

技術領域

本申請屬于分布式資源管理技術領域，尤其涉及一種資源調度方法、裝置及計算機設備。

背景技術

Spark是專為大規模數據處理而設計的快速、通用的計算引擎，可用來完成各種各樣的運算，包括SQL(Structured Query Language，結構化查詢語言)查詢、文本處理、機器學習等。

Spark提供了一個開源的分布式集群計算平臺，Spark速度非常快的原因之一，就是在不同操作中可以在其計算單元(Spark Executor)的內存中緩存或持久化關鍵RDD(Resilient Distributed Datasets，彈性分布式數據集)，當緩存或持久化某個RDD后，可將該RDD在后續針對該RDD的其他動作中重用，這使得后續的動作變得更加迅速；也即，Spark通過在其計算單元的內存中緩存或持久化關鍵RDD來進行高效的處理，且基于負載均衡考慮，實際應用中，通常均勻地在不同服務器節點的不同計算單元中進行RDD緩存或持久化。

從資源占用角度來說，通常會根據任務的計算需求從平臺資源池中動態申請/釋放計算資源，其中，當計算繁忙時需申請更多的計算資源，而當計算空閑時則相應需釋放富余的計算資源。但該動態申請/釋放資源的動態資源管理機制，在Spark應用環境中，要么以Spark的計算性能為重不釋放已緩存有RDD的閑置計算單元，要么以節約資源為重釋放已緩存有RDD的閑置計算單元，這樣已緩存的RDD也會隨著其所對應的計算單元的釋放而丟失，這就導致無法保證后續的計算性能。從而，對于Spark應用環境來說，存在計算性能與資源占用相矛盾的問題。

發明內容

有鑒于此，本申請的目的在于提供一種資源調度方法、裝置及計算機設備，用于在保證緩存(或持久化)數據完整的情況下，對計算資源進行動態管理，以緩解Spark等計算平臺中計算性能與資源占用相矛盾的問題。

為此，本發明公開如下技術方案：

一種資源調度方法，包括：

獲得待處理的第一任務；

確定處理所述第一任務所需的計算單元的第一數量；

申請第一數量的計算單元所對應的資源；

基于申請到的資源構建第一數量的計算單元；

將所述第一數量的計算單元處理為至少包括靜態類型與動態類型兩種計算單元；

利用第一數量計算單元中的至少部分計算單元處理所述第一任務；

其中，若所述第一任務需存儲待重用的數據，則利用靜態類型的計算單元對應的資源進行待重用數據的存儲；若所述第一任務進入符合第一條件的空閑狀態，則釋放至少部分動態類型的計算單元及其對應的資源。

上述方法，優選的，所述將所述第一數量的計算單元處理為至少包括靜態類型與動態類型兩種計算單元，包括：

將所述第一數量的計算單元中的一部分計算單元標記為靜態類型，靜態類型除外的其它計算單元標記為動態類型。

上述方法，優選的，所述將所述第一數量的計算單元中的一部分計算單元標記為靜態類型，靜態類型除外的其它計算單元標記為動態類型，包括：