[發明專利]一種面向Hadoop的實時作業公平調度的方法和裝置

在審

• 申請號: 201510039532.0
• 申請日: 2015-01-26
• 公開（公告）號: CN104598311A
• 公開（公告）日: 2015-05-06
• 發明（設計）人: 馬松玉;王軍
• 申請（專利權）人: 上海卓悠網絡科技有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 鄧猛烈;孟金喆

1.一種面向Hadoop的實時作業公平調度的方法，其特征在于，包括：

接收提交的作業和該作業的期望執行時間；

根據所述作業，獲得預設的對應所述作業的作業歷史執行數據，并建立代價模型；

將所述作業歷史執行數據代入所述代價模型，計算獲得所述作業的預估執行時間；

根據所述預估執行時間和期望執行時間，分配給所述作業實際需要的資源量，以便所述作業在所述期望執行時間內完成。

2.根據權利要求1所述的面向Hadoop的實時作業公平調度的方法，其特征在于，所述代價模型的公式為：D+A≥fσ/(n_m×C_m)+fσ/(n_r×C_r)+fσ/C_d+fσ/C_s；

其中，所述代價模型基于MapReduce框架建立，所述MapReduce框架的作業任務執行階段包括Map任務執行階段和Reduce任務執行階段，所述A為提交作業時的提交時間，所述D為作業的執行時間，所述D+A為預估執行時間，所述fσ為Map任務輸出端的數據量，所述n_m為Map任務的Slot數目，所述C_m為Map任務處理單元數據的時間，所述n_r為Reduce任務的Slot數目，所述C_r為Reduce任務處理單元數據的時間，所述C_d為轉換單元數據的通信時間，所述C_s為Reduce任務的Sort的速度；

所述將所述作業歷史執行數據代入所述代價模型，計算獲得所述作業的預估執行時間；根據所述預估執行時間和期望執行時間，分配給所述作業實際需要的資源量，包括：

將所述作業歷史執行數據代入所述公式，計算獲得所述作業的預估執行時間；根據所述預估執行時間和期望執行時間，獲得所述作業在所述期望執行時間內完成的最小Map任務的Slot數目；

根據所述最小Map任務的Slot數目，獲得所述作業在所述期望執行時間內完成實際需要的最小資源量，分配給所述作業大于等于所述最小資源量的資源量。

3.根據權利要求1所述的面向Hadoop的實時作業公平調度的方法，其特征在于，預設所述作業歷史執行數據，包括：

接收提交的作業，執行所述作業；

在執行所述作業的過程中，保存所述作業的信息，所述信息包括作業的類型、執行作業對應的資源量、執行作業的時間；

對相同類型的作業對應的資源量、執行作業的時間進行統計。

4.根據權利要求1所述的面向Hadoop的實時作業公平調度的方法，其特征在于，所述根據所述預估執行時間和期望執行時間，分配給所述作業實際需要的資源量，包括：

將所述預估執行時間和期望執行時間進行對比，根據對比結果設置所述作業實際的作業公平資源量；

所述作業公平資源量C_ij＝W’_ij/(Σ_iΣW’_i*)×H_c；

其中，所述W’_ij為作業的全局權重值，所述Σ_iΣW’_i*為所有可調度作業的全局權重值之和，所述H_c表示集群當前的計算資源量。

5.根據權利要求1所述的面向Hadoop的實時作業公平調度的方法，其特征在于，所述代價模型基于以下條件建立：

每個節點的計算能力一致；

任務的執行進度隨時間線性增加；

任務的進度可以表示成已完成工作量占總工作量的比例；

同種類型作業的任務工作量相同，執行所用時間相同。

6.一種面向Hadoop的實時作業公平調度的裝置，其特征在于，包括：

接收作業單元，用于接收提交的作業和該作業的期望執行時間；

建立模型單元，用于根據所述作業，獲得預設的對應所述作業的作業歷史執行數據，并建立代價模型；

獲得時間單元，用于將所述作業歷史執行數據代入所述代價模型，計算獲得所述作業的預估執行時間；

分配資源單元，用于根據所述預估執行時間和期望執行時間，分配給所述作業實際需要的資源量，以便所述作業在所述期望執行時間內完成。