[發明專利]一種HADOOP調度法的優化方法

在審

• 申請號: 201410382956.2
• 申請日: 2014-08-06
• 公開（公告）號: CN104102794A
• 公開（公告）日: 2014-10-15
• 發明（設計）人: 劉晶
• 申請（專利權）人: 浪潮電子信息產業股份有限公司
• 主分類號: G06F17/50
• 分類號: G06F17/50
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

?

技術領域

本發明涉及計算機軟件及并行計算技術領域，具體地說是一種HADOOP調度法的優化方法。

背景技術

隨著計算機技術和互聯網技術的迅猛發展，網絡普及率和互聯網用戶的規模也在逐年攀升，用戶規模不斷攀升與數據處理量迅速增長的雙重刺激為互聯網應用帶來了新的挑戰。首先,海量的數據需要巨大規模的存儲資源作為基礎,其次網絡應用對數據的依賴性增加,使得對海量數據進行計算和處理的能力的需求越來越強烈,維護這些應用程序的數據存儲的成本和數據計算處理的成本越來越高。在應用需求和相關技術發展的推動下,云計算作為一種新的模型被提了出來，它從技術上解決了大規模并行計算、海量數據分布式存儲、海量數據實時備份和應用高度集成等問題。Google研發出了簡單而又高效的云計算技術，為了對Google云計算技術有更加深入的了解，Apache提出了分布式計算框架Hadoop，對成千上萬的任務進行調度的海量數據并行處理系統，Hadoop?的調度器負責所有作業與其任務調度的整個過程，包括如何選擇作業和任務，如何選擇任務的執行者等。衡量調度器優劣的標準之一就是系統對任務的響應時間。選擇合適的調度程序不僅能夠縮短系統的響應時間，而且能夠改善Hadoop的執行能力和交互能力，因此對Hadoop調度法的研究和改進工作具有非常重要的意義。

發明內容

本發明的技術任務是提供一種HADOOP調度法的優化方法。

本發明的技術任務是按以下方式實現的，該HADOOP調度法的優化方法采用任務各階段進度值選取模塊、申請任務的?TaskTracker?是否為掉隊節點判定模塊、掉隊任務判定模塊、掉隊任務排序模塊以及后備任務建立模塊；

方法如下：

通過調整hadoop任務各階段的權值，準確地確定出任務進度值，掌握任務的剩余完成時間；找到真正的掉隊任務，并在正常節點上進行推測執行；根據網絡的負載情況，不斷改變后備任務的數量上限值，保證網絡的負載均衡，避免因過度執行后備任務導致網絡擁塞。

所述的任務各階段進度值選取模塊可以自行調整相應參數，使得任務各階段的進度值更接近實際值，從而準確地確定任務的進度值與進度速率。

所述的申請任務的?TaskTracker?是否為掉隊節點判定模塊，通過確定TaskTracker的速率，準確判定申請任務的?TaskTracker?是不是掉隊者，如是，則將掉隊任務的后備任務交由該?TaskTracker?執行。

所述的掉隊任務判定模塊通過一個任務的map任務的進程速率以及reduce任務的進程速率，準確判定該任務是否為掉隊任務。

所述的掉隊任務排序模塊通過確定掉隊任務隊列中每個任務預計完成的剩余時間并對其排序，準確判定任務優先級。

所述的后備任務建立模塊通過系統的負載量和系統的處理能力的比值來確定掉隊任務的情況，當一些?TaskTracker?空閑的時候就會從掉隊任務隊列中選擇任務并執行其后備任務。

本發明的一種HADOOP調度法的優化方法和現有技術相比，具有的有效果是：對任務各階段的權值進行調整，根據不同的作業進行不同權值的設置，使其更接近真實值，能夠幫助更準確地計算任務的進度值、進程速率與預計剩余完成時間。根據系統中的負載情況，對后備任務數量上限進行動態調整，避免由于過度推測執行帶來系統的性能下降，更好地利用推測執行機制幫助改善任務的響應時間。

附圖說明

附圖１為一種HADOOP調度法的優化方法的流程示意圖。

具體實施方式

實施例1：

該HADOOP調度法的優化方法采用任務各階段進度值選取模塊、申請任務的?TaskTracker?是否為掉隊節點判定模塊、掉隊任務判定模塊、掉隊任務排序模塊以及后備任務建立模塊。

方法如下：

通過調整hadoop任務各階段的權值，準確地確定出任務進度值，掌握任務的剩余完成時間；找到真正的掉隊任務，并在正常節點上進行推測執行；根據網絡的負載情況，不斷改變后備任務的數量上限值，保證網絡的負載均衡，避免因過度執行后備任務導致網絡擁塞。