[發明專利]基于任務粒度的MapReduce報表任務執行方法有效
| 申請號： | 201310656006.X | 申請日： | 2013-12-05 |
| 公開（公告）號： | CN103699441B | 公開（公告）日： | 2017-07-18 |
| 發明（設計）人： | 鄒瑜斌;張帆;白雪;閆茜;須成忠 | 申請（專利權）人： | 深圳先進技術研究院 |
| 主分類號： | G06F9/50 | 分類號： | G06F9/50 |
| 代理公司： | 深圳市科進知識產權代理事務所(普通合伙)44316 | 代理人： | 沈祖鋒,郝明琴 |
| 地址： | 518055 廣東省深圳*** | 國省代碼： | 廣東;44 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 基于 任務 粒度 mapreduce 報表 執行 方法 | ||
1.一種基于任務粒度的MapReduce報表任務執行方法，包括以下步驟：
S10、驗證數據報表任務Jobi的合法性以及優先級，將數據報表任務放入Job隊列中，其中，1≤i≤K，K為所述數據報表任務的個數；
S20、基于最小粒度分割，依次對每一Jobi進行子任務劃分，得到包含所有子任務的集合Set1；
S30、去除集合Set1中重復的子任務，得到集合Set2；
S40、對集合Set2中的子任務進行最大粒度合并，得到集合Set3，其中，每一Jobi依賴于集合Set3中的若干子任務，所述最大粒度合并具體為：找出jobi中多次同時出現的多個子任務或在jobi中同時出現只出現一次的多個子任務，并將所述多個子任務分別進行合并；
S50、根據Hadoop即時計算能力以及集合Set3的子任務數量創建運算單元；
S60、由所述運算單元執行集合Set3的子任務。
2.根據權利要求1所述的基于任務粒度的MapReduce報表任務執行方法，其特征在于，將集合Set3子任務的執行結果存入緩存池中。
3.根據權利要求2所述的基于任務粒度的MapReduce報表任務執行方法，其特征在于，在所述緩存池中對集合Set3的子任務進行檢索，若相應子任務執行結果已存在，則不創建相應子任務的運算單元；若相應子任務執行結果不存在，則創建相應子任務的運算單元。
4.根據權利要求1至3任意一項所述的基于任務粒度的MapReduce報表任務執行方法，其特征在于，所述運算單元為線程或者進程。
5.根據權利要求1所述的基于任務粒度的MapReduce報表任務執行方法，其特征在于，集合Set3中的每一子任務為集合Set2中若干子任務的并集。
6.根據權利要求1所述的基于任務粒度的MapReduce報表任務執行方法，其特征在于，所述運算單元與集合Set3的子任務一一對應。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于深圳先進技術研究院，未經深圳先進技術研究院許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201310656006.X/1.html，轉載請聲明來源鉆瓜專利網。
