[發明專利]一種Hadoop集群管理任務的分發方法和系統

有效

• 申請號: 201510347803.9
• 申請日: 2015-06-19
• 公開（公告）號: CN104915260B
• 公開（公告）日: 2018-05-25
• 發明（設計）人: 彭毅
• 申請（專利權）人: 北京搜狐新媒體信息技術有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

本發明公開了一種Hadoop集群管理任務的分發方法及裝置。所述方法首先根據Hadoop組件的依賴關系對管理任務進行階段規劃，然后依次處理每一階段中的管理任務，將同一階段內配往同一組件節點的管理任務規劃為一個子階段；然后當進入一個調度周期后，掃描當前待調度的所有子階段，并對其進行排序。最后根據預設篩選條件按照排序后的子階段從前到后的順序依次判斷當前子階段是否適合在當前調度周期內進行任務分發。在該分發方法中，子階段作為最小的調度單元，并且同一個子階段內部以及同一父階段內的子階段之間能夠并行執行。本發明能夠實現在更細粒度上并行分發任務。而且，本發明提供的方法能夠提高任務分發的吞吐量，進而提高Hadoop集群管理的效率。

技術領域

本發明涉及計算機集群技術領域，尤其涉及一種Hadoop集群管理任務的分發方法和系統。

背景技術

Hadoop是一個由Apache基金會所開發的分布式系統基礎架構。Hadoop主要包括HDFS、MapReduce2、YARN、Hbase等核心服務，每個服務又包括多個服務組件，如HBase服務包括HBaseMaster、Region Server等組件。

Hadoop集群是指部署有Hadoop相關服務組件的一組計算機，這些計算機通過組件間的相互協作對外提供服務。

Hadoop集群包括HDFS、MapReduce2、YARN、Hbase等核心服務，每個服務又包括多個服務組件，如HBase服務包括HBaseMaster、Region Server等組件。這些組件離散分布于集群節點中，如此，就為多個組件的并發管理提供了可能，然而，由于Hadoop組件間存在一定的依賴關系，因此就要求針對部分組件的并發管理具有一定的時序安排。如何在保證組件依賴關系的基礎上最大限度地并發管理集群中的組件，是Hadoop集群領域中的研究熱點。

目前，Hadoop集群管理任務分發方法大多基于組件的依賴關系定義多個管理任務進行階段規劃，即<管理操作、階段>二級定義，階段在邏輯上保證組件依賴關系的有效性，同時也是最小的調度單元。其判別條件為：只要待篩選的階段中存在某個任務其所派發的目的節點已有其它階段中的任務，即放棄該階段在本次調度周期內的調度。因此，在使用該判別條件篩選時，階段間互斥率較高，導致每個調度周期可并發的階段數量較少，進而導致任務并發吞吐不高。

發明內容

有鑒于此，本發明提供了一種Hadoop集群管理任務的分發方法和系統，以提高任務分發的吞吐量。

為了解決上述技術問題，本發明采用了如下技術方案：

一種Hadoop集群管理任務的分發方法，包括：

接收來自用戶的管理操作命令，并驗證所述管理操作命令的有效性；

當所述管理操作命令有效時，解析所述管理操作命令，以生成管理任務集合；所述管理任務集合至少包括一個管理任務；

根據預先定義的Hadoop組件的依賴關系對所述管理任務集合內的管理任務進行階段規劃；其中，在階段規劃中，將能夠并行執行的管理任務規劃到同一階段，將執行有先后順序的管理任務規劃到不同階段；

依次處理每一階段中的管理任務，將同一階段內配往同一目標組件節點的管理任務規劃為一個子階段，形成<管理操作、階段、子階段>的三級層級的規劃數據；

當進入一個調度周期后，掃描當前待調度的子階段，并依據<管理操作、階段、子階段>的層級對所有待調度的子階段進行排序；

根據預設篩選條件按照排序后的子階段從前到后的順序依次判斷當前子階段是否適合在當前調度周期內進行任務分發；如果當前子階段適合在當前調度周期內進行任務分發，并且該當前子階段所屬管理操作之前分發的管理任務沒有失敗，則將當前子階段中的所有管理任務進行分發；