[發明專利]Reduce任務的調度方法及裝置

在審

• 申請號: 201711270644.2
• 申請日: 2017-12-05
• 公開（公告）號: CN109871265A
• 公開（公告）日: 2019-06-11
• 發明（設計）人: 林文輝;舒南飛
• 申請（專利權）人: 航天信息股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京合智同創知識產權代理有限公司 11545
• 代理人: 李杰

本發明提供一種Reduce任務的調度方法及裝置，用以克服現有技術中在進行任務調度時網絡傳輸開銷較大、任務調度時間較長的缺陷。其中方法包括：當請求節點申請Reduce任務時，確定各未被調度的Reduce任務的數據本地性衡量值；選取數據本地性衡量值最小的Reduce任務，并確定選取的Reduce任務是否滿足調度條件；若滿足，則將選取的Reduce任務分配給請求節點。本發明實施例并非直接調度Reduce任務，而是根據Reduce任務的數據本地性衡量值進行判定后再分配滿足調度條件的Reduce任務，因此在進行任務調度時考慮了Reduce任務的數據本地性，減少了任務調度時間，提高作業吞吐量。

技術領域

本發明實施例涉及計算機技術領域，尤其涉及一種Reduce任務的調度方 法及裝置。

背景技術

MapReduce是一種簡單的編程模型，其對數據的操作可以歸結為兩個階 段：Map(映射)階段和Reduce(歸約)階段，由于在處理分析大規模數據集時的 簡單性和靈活性，MapReduce一時成為了當前主流的海量數據處理框架。 Hadoop(海杜普)作為其優秀的開源實現被廣泛使用。Hadoop的任務調度 算法決定了任務的執行性能，進而影響到整個Hadoop集群的性能。幸運的 是，Hadoop實現的可插入式調度器，能靈活地運用不同的任務調度算法為任 務分配集群資源，這些算法各有優勢，它們工作效率取決于工作負載和集群 特性。

目前主要的MapReduce任務調度方法有三種，分別為：FIFO(First Input FirstOutput，先入先出)調度方法、公平調度方法和容量調度方法。FIFO 調度方法按任務的提交時間來執行任務，不考慮作業的優先級或大小，容易 實現，而且效率相對較高；公平調度方法(Fair Scheduler)是由Facebook 開發設計的，它的核心概念是：隨著時間的推移，平均地為作業分配集群資 源，該調度算法可以讓Hadoop集群對提交的多種類型任務作出更大的響應 比，特別適用于中小規模的集群；由Yahoo開發的容量調度器(CapacityScheduler)與公平調度器類似，它能提供更大的控制能力，保證用戶的最小 容量要求，并在用戶之間共享多余的容量，主要用于擁有多個獨立用戶和目 標應用程序的大型集群。

上述公平調度方法使用更為廣泛，但是公平調度方法在進行任務調度時， 并未考慮Reduce任務的數據本地性，從而導致網絡傳輸開銷較大、任務調度 時間較長。

發明內容

有鑒于此，本發明實施例所解決的技術問題之一在于提供一種Reduce 任務的調度方法及裝置，用以克服現有技術中在進行任務調度時，并未考慮 Reduce任務的數據本地性，從而導致網絡傳輸開銷較大、任務調度時間較長 的缺陷。

本發明實施例提供一種Reduce任務的調度方法，所述方法包括：

當請求節點申請Reduce任務時，確定各未被調度的Reduce任務的數據 本地性衡量值；

選取數據本地性衡量值最小的Reduce任務，并確定選取的Reduce任務 是否滿足調度條件；

若滿足，則將所述選取的Reduce任務分配給所述請求節點。

可選地，所述確定選取的Reduce任務是否滿足調度條件的步驟，包括：

比較所述選取的Reduce任務的數據本地性衡量值與所述選取的Reduce 任務的等待次數對應的閾值；

若所述數據本地性衡量值小于或等于所述閾值，則確定所述選取的 Reduce任務滿足調度條件。

可選地，在所述將所述選取的Reduce任務分配給所述請求節點的步驟之 后，還包括：將所述選取的Reduce任務的等待次數置為0。

可選地，所述方法還包括：若不滿足，則將所述選取的Reduce任務的等 待次數加1。