[發明專利]用于調度數據處理的方法和節點

有效

• 申請號: 201580078185.0
• 申請日: 2015-03-24
• 公開（公告）號: CN107430526B
• 公開（公告）日: 2021-10-29
• 發明（設計）人: 呂月;費塔希·武希比
• 申請（專利權）人: 瑞典愛立信有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 黃亮

一種用于跨處理機集合(202)來調度數據處理的方法和作業調度節點(200)，每個處理機包括至少一個數據處理器。當接收(2:2)針對數據處理作業的請求時，作業調度節點(200)獲得(2:5)每個處理機的當前處理器資源狀態，處理器資源狀態至少指示所述處理機中每個數據處理器的當前使用情況。作業調度節點(200)還基于所獲得的處理器資源狀態來選擇(2:6)處理機集合中的至少一個空閑數據處理器，以執行數據處理作業，并且向所選擇的至少一個數據處理器所位于的至少一個處理機(202a)分派(2:7)數據處理作業。

技術領域

本公開總體上涉及用于跨一系列處理機來調度數據處理的作業調度節點、資源監視器以及其中的方法，每個處理機包括一個或多個數據處理器。

背景技術

在數據處理領域，諸如不同公司、企業、組織和機構等的客戶需要硬件和軟件資源來執行各種數據處理操作。在本公開中，術語“數據處理器”用于簡單地表示可被用于涉及數據處理(例如涉及分析、計算、編譯、轉換和數據存儲)的計算機執行操作的任何設備。

傳統上，客戶自身可能擁有并維護其需要用于數據處理的所有資源，但這可能相當昂貴和耗時。例如，需要相當多的知識和技能來首先找出需要什么類型的資源并獲取和安裝這些資源。因此，客戶經常需要雇用熟練的工作人員和/或聘請顧問來實現資源的高效利用。此外，隨著計算機和軟件領域中技術的快速發展和進步，購買或租用的資源趨向于會非常快速地變得過時，并且必須經常被具有更好性能的新資源所替代，這自然是昂貴和耗時的。另一個問題是，客戶可能在非常有限的時間段內需要大量的資源來每年進行一次或僅幾次大型的操作(例如與經濟學、統計學或庫存盤點有關)，而在剩余時間段內使用非常少的資源。因此，客戶必須投資足夠的資源來應對這種高峰使用，且還需應對需求和操作隨著時間的推移發生變化的時刻。

近年來，客戶有可能租用和利用共享資源進行數據處理，例如駐留在包括大范圍處理器、計算機和數據存儲在內的大型數據中心中的共享資源。有效地，所有需要的資源可以從這樣的數據中心獲得，并且客戶不必對昂貴的資源中進行自己的投資。因此，將資源分配給客戶以執行所請求的處理操作，并且可以在需要時再次向客戶分配新的資源。

通常采用一些負載均衡功能來將傳入的處理請求均勻分布在不同的處理機上，以避免數據中心等中的瓶頸并提高資源利用率。在本公開中，術語“處理機”用于表示數據中心等中的節點或服務器，該節點或服務器包括可用于對傳入的處理請求進行數據處理的一個或多個數據處理器。處理機的集合通常被簡稱為“集群”。此外，所請求的處理操作被稱為“數據處理作業”，或簡稱為“作業”，其根據處理請求可具有不同的持續時間和要求。

在本領域中基本上有兩種類型的數據處理機：1)作為具有固定容量的固定式處理設備的物理機(PM)，以及2)虛擬機(VM)，虛擬機是具有靈活容量的臨時處理設備，因為資源是專門針對每個處理請求來動態地創建和配置的。基本上只有在執行作業時VM才存在，且資源在完成作業后釋放，而無論是否執行任何的作業，PM或多或少會永久存在。PM集合有時被稱為“原生集群(native cluster)”，而VM集合被稱為“虛擬集群”。此外，“混合集群”表示原生集群和虛擬集群的組合。虛擬機通常用于所謂的云計算背景中。因此，VM不是原生集群的一部分，并且可以將VM視為用于增強原生(或物理)集群的附加外部資源。以下描述將主要關注PM的使用。

通常采用作業調度功能或“作業調度器”來選擇一個或多個合適的PM來執行所請求的數據處理作業，該所請求的數據處理作業可以由可由同一個PM執行或由不同的單獨PM執行的多個任務組成。例如，數據處理作業的每個任務可以由單獨的PM執行。換言之，作業調度器試圖找到并選擇應該能夠執行該作業的一個或多個PM。