[發明專利]Hadoop的調度方法、系統及管理節點

在審

• 申請號: 201310188180.6
• 申請日: 2013-05-20
• 公開（公告）號: CN103246570A
• 公開（公告）日: 2013-08-14
• 發明（設計）人: 孫垚光;黎樵
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 宋合成

技術領域

本發明涉及云計算技術領域，特別涉及一種Hadoop的調度方法、系統及管理節點。

背景技術

Apache?Hadoop是一個能夠對大量數據進行分布式處理的軟件平臺，海量數據業務越來越多，Hadoop的使用也越來越廣泛。隨著單個集群的規模的日趨擴大（第一代Hadoop集群大約能夠支持4000臺機器），如何提高集群資源使用率也逐漸成為人們關心的話題。提高集群資源利用率的關鍵在于集群的調度。

目前Hadoop支持多種調度器，基本都是將TaskTracker按照機器配置信息，分配好固定的槽位（slot）數，比如16個，表示單臺TaskTracker機器可以最多同時執行16個Task，JobTracker按照這些槽位數進行調度，每個Task占用至少一個槽位。

這種固定配置槽位數的方案有兩個缺點：

（1）每臺機器所容納的槽位數是固定的，每個槽位對應的資源也是固定的，Hadoop默認每個槽位對應800MB內存，一個實際運行過程中只需要100MB內存的Task，在JobTracker和TaskTracker看來，仍然占用一個槽位，仍然需要消耗800MB內存；

（2）某個具體的Task占用幾個槽位，完全根據提交作業的配置進行換算，大部分情況下用戶對自身的程序運行過程中需要多少資源，并不能做到十分精確的預估。

因此，如果單機配置槽位數較少，則無法充分利用集群資源，而如果配置槽位數個數較多，當出現資源消耗較多的作業時，又會出現單機資源不夠用的情況（例如因為整機內存不夠而出現機器宕機）。

發明內容

本發明的目的旨在至少解決所述技術缺陷之一。

為此，本發明的一個目的在于提出一種可提升計算節點中資源利用率的Hadoop的調度方法。

本發明的另一個目的在于提出一種Hadoop的調度系統。

本發明的再一目的在于提出一種管理節點。

為達到上述目的，本發明第一方面的實施例公開了一種Hadoop的調度方法，包括以下步驟：管理節點獲取多個計算節點中已完成任務的資源消耗信息；所述管理節點根據所述多個計算節點中已完成任務的資源消耗信息生成資源調度值；以及所述管理節點接收新任務的分配請求，并根據所述資源調度值為所述新任務分配資源。

根據本發明實施例的Hadoop的調度方法，可以提高Hadoop計算節點（TaskTracker）的單機并發度，從而提高整個集群（多個計算節點）的資源利用率。

另外，根據本發明上述實施例的Hadoop的調度方法還可以具有如下附加的技術特征：

在一些示例中，所述計算節點中運行有多個任務。

在一些示例中，所述計算節點中的任務在所述任務結束之后通過心跳報文將所述任務對應的資源消耗信息發送至所述管理節點。

在一些示例中，所述管理節點通過以下公式生成所述資源調度值：

最新的資源調度值=最新采樣值*p+當前資源調度值*（1-p），其中，p取值為（0，1）。

本發明第二方面的實施例公開了一種Hadoop的調度系統，包括管理節點和多個計算節點，其中，管理節點，用于獲取多個計算節點中已完成任務的資源消耗信息，并根據所述多個計算節點中已完成任務的資源消耗信息生成資源調度值，以及在接收新任務的分配請求之后根據所述資源調度值為所述新任務分配資源。

根據本發明實施例的Hadoop的調度系統，可以提高Hadoop計算節點（TaskTracker）的單機并發度，從而提高整個集群（多個計算節點）的資源利用率。

另外，根據本發明上述實施例的Hadoop的調度系統還可以具有如下附加的技術特征：

在一些示例中，所述計算節點中運行有多個任務。

在一些示例中，所述計算節點中的任務在所述任務結束之后通過心跳報文將所述任務對應的資源消耗信息發送至所述管理節點。

在一些示例中，所述管理節點通過以下公式生成所述資源調度值：

最新的資源調度值=最新采樣值*p+當前資源調度值*（1-p），其中，p取值為（0，1）。

本發明第三方面的實施例公開了一種管理節點，包括：獲取模塊，用于獲取多個計算節點中已完成任務的資源消耗信息；生成模塊，用于根據所述多個計算節點中已完成任務的資源消耗信息生成資源調度值；以及資源分配模塊，用于在接收新任務的分配請求之后根據所述資源調度值為所述新任務分配資源。