[發明專利]一種基于時間的yarn任務資源動態調度方法

在審

• 申請號: 201410819147.3
• 申請日: 2014-12-25
• 公開（公告）號: CN104407921A
• 公開（公告）日: 2015-03-11
• 發明（設計）人: 楊勇;亓開元;辛國茂;盧軍佐
• 申請（專利權）人: 浪潮電子信息產業股份有限公司
• 主分類號: G06F9/46
• 分類號: G06F9/46
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

技術領域

本發明涉及大數據技術領域，具體地說是一種實用性強、基于時間的yarn任務資源動態調度方法。

背景技術

大數據（Big?data）通常用來形容一個公司創造的大量非結構化數據和半結構化數據，這些數據在下載到關系型數據庫用于分析時會花費過多時間和金錢。MapReduce是一種編程模型，常用于大規模數據集（大于1TB）的并行運算，是Hadoop1.x版本主要的計算編程模型。但從業界使用分布式系統的變化趨勢和?hadoop?框架的長遠發展來看，MapReduce?的?JobTracker/TaskTracker?機制需要大規模的調整來修復它在可擴展性，內存消耗，線程模型，可靠性和性能上的缺陷。

舊的?Hadoop?架構受到了?JobTracker?的高度約束，JobTracker?負責整個集群的資源管理和作業調度。新的?yarn?架構打破了這種模型，允許一個新?ResourceManager?管理跨應用程序的資源使用，ApplicationMaster?負責管理作業的執行。這一更改消除了一處瓶頸，還改善了將?Hadoop?集群擴展到比以前大得多的配置的能力。此外，不同于傳統的?MapReduce，yarn允許使用?Message?Passing?Interface?等標準通信模式，同時執行各種不同的編程模型，包括圖形處理、迭代式處理、機器學習和一般集群計算。實際上，可以將?MapReduce?模型視為?yarn架構可運行的一些應用程序中的其中一個，只是為自定義開發公開了基礎框架的更多功能。隨著?yarn?變得更加健全，它有能力取代其他一些分布式處理框架，從而完全消除了專用于其他框架的資源開銷，同時還可以簡化整個系統。

Capacity?Scheduler是YARN中默認的資源調度器，它適合于多用戶共享集群的環境的調度器，采用隊列的形式分配和調度集群資源。某個作業可被提交到某一個隊列中，每個隊列會配置一定比例的計算資源，且所有提交到隊列中的作業共享該隊列中的資源。空閑資源會被分配給那些未達到資源使用上限的隊列，當某個未達到資源的隊列需要資源時，一旦出現空閑資源資源，便會分配給他們。Capacity?Scheduler支持批量調度任務、任務優先級劃分、資源搶占和動態加載配置文件。

基于上述技術，現提供一種基于時間的yarn任務資源動態調度方法。

發明內容

本發明的技術任務是針對以上不足之處，提供一種實用性強、基于時間的yarn任務資源動態調度方法。

一種基于時間的yarn任務資源動態調度方法，其具體實現過程為：

設計yarn隊列，根據任務特點，設計多個隊列，每個隊列對應一類任務，隊列的數量動態增加，同時同一層級所有隊列的資源分配比例之和是100%；

編寫定時刷新隊列的腳本，根據時間變化和業務需求，定時調用yarn控制臺命令，刷新yarn任務隊列的配置參數；

提交任務到指定隊列，提交任務到yarn框架上時，指定任務提交到哪個隊列上，從而保證各個任務在指定隊列上運行。

所述定時任務腳本編寫完成后，在指定時間將對應方案的配置文件復制到$YARN_HOME/conf目錄下，并調用yarn控制臺命令yarn?rmadmin?–refreshQueues?刷新配置文件。

提交yarn任務時，配置yarn框架提供的環境變量，即mapreduce.job.queuename來指定任務要提交到哪個隊列上。

本發明的一種基于時間的yarn任務資源動態調度方法，具有以下優點：

該發明的一種基于時間的yarn任務資源動態調度方法滿足了時間強相關類業務在不同時間段需要不同資源量的動態調度需求，充分利用了yarn框架下隊列資源分配和任務資源搶占的機制，使用簡單的方式加以調度，大大提高了Hadoop集群的資源利用率，并且由于yarn框架與計算邏輯的無關性，本方法不僅適用于MapReduce任務，還適用于spark任務、SparkStreaming任務等其他類型的大數據任務，有很高的實用價值，實用性強，易于推廣。

附圖說明

附圖1為本發明的調度流程圖。

具體實施方式

下面結合附圖和具體實施例對本發明作進一步說明。