[發明專利]一種Hadoop集群的在線最小化總完工時間的調度方法和裝置在審
| 申請號： | 201410635768.6 | 申請日： | 2014-11-11 |
| 公開（公告）號： | CN105653357A | 公開（公告）日： | 2016-06-08 |
| 發明（設計）人： | 田文洪;李國忠;蔣亞秋;徐敏賢 | 申請（專利權）人： | 田文洪;李國忠;蔣亞秋;徐敏賢 |
| 主分類號： | G06F9/48 | 分類號： | G06F9/48 |
| 代理公司： | 暫無信息 | 代理人： | 暫無信息 |
| 地址： | 611731 四川省成*** | 國省代碼： | 四川;51 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 hadoop 集群 在線 最小化 完工 時間 調度 方法 裝置 | ||
1.一種Hadoop集群在線調度管理的方法，其特征在于，所述方 法包括步驟：
計算出已到達在線作業的Map和Reduce階段的持續時間；
為每個在線作業分配系統可用的最大資源；
按照先來先服務的執行順序調度在線作業。
2.根據權利要求1所述的方法，其特征在于，在線算法的競爭比 (competitive-ratio)為[1,2)，
競爭比是新提出算法的總完工時間(本算法為在線算法，Tonline) 除以離線的最優總完工時間(Topt)，
既為：
3.根據權利要求1所述的方法，其特征在于，所述為每個在線作 業計算出已到達在線作業的Map和Reduce階段的持續時間，為每個在 線作業分配系統可用的最大資源中：
當在線作業請求的系統資源R等于系統可用的最大資源S時，為 所述作業分配所述系統可用的最大資源S；
當在線作業請求的系統資源R小于系統可用的最大資源S時，根 據所述系統可用的最大資源S對所述作業分片，并為分片后的所述作 業分配所述系統可用的最大資源S；
當在線作業請求的系統資源R大于系統可用的最大資源S時，按 照執行N波來為所述作業分配資源；
其中，N＝R/S向上取整；
當R/S不為整數時，為第1至第N波任務分配系統可用的最大資源 S；
當R/S為整數時，為每波任務分配系統可用的最大資源。
4.根據權利要求3所述的方法，其特征在于，所述作業屬性為Ai包括到達時間、階段持續時間和階段類型，且：
其中，Ai為第i個作業Ji的屬性，ti為作業Ji到達系統的時刻，mi和ri分 別為作業Ji的Map階段和Reduce階段的階段持續時間，m和r分別表 示作業的階段類型為Map階段和Reduce階段。
5.根據權利要求4所述的方法，其特征在于，在所述根據作業屬 性，按照先來先服務算法安排在線作業的執行順序；
為每個在線作業編號；
估算在線作業的階段持續時間以及估算在線作業的階段持續時 間的步驟中：
當在線作業請求的系統資源R等于所述系統可用的最大資源S 時，根據所述在線作業請求的系統資源以及系統的先驗信息估算所述 在線作業的階段持續時間。
當在線作業請求的系統資源R不等于所述系統可用的最大資源S 時，根據所述在線作業請求的系統資源以及系統的先驗信息估算所述 在線作業的階段持續時間。
6.一種在線Hadoop集群系統的調度裝置，其特征在于，所述裝 置包括：
分配模塊，用于為每個在線作業分配系統可用的最大資源；
排序模塊，用于根據在線作業屬性，按照先來先服務算法安排作 業的執行順序；
調度模塊，用于按照所述執行順序調度在線作業。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于田文洪;李國忠;蔣亞秋;徐敏賢，未經田文洪;李國忠;蔣亞秋;徐敏賢許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201410635768.6/1.html，轉載請聲明來源鉆瓜專利網。
