[發(fā)明專利]分布式數(shù)據(jù)倉庫中的任務(wù)調(diào)度方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201010188509.5
• 申請日: 2010-05-14
• 公開（公告）號: CN102243598A
• 公開（公告）日: 2011-11-16
• 發(fā)明（設(shè)計）人: 李均;郭瑋;洪坤乾;趙偉
• 申請（專利權(quán)）人: 深圳市騰訊計算機系統(tǒng)有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 廣州華進聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 何平;曾旻輝

【技術(shù)領(lǐng)域】

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種分布式數(shù)據(jù)倉庫中的任務(wù)調(diào)度方法及系統(tǒng)。

【背景技術(shù)】

數(shù)據(jù)倉庫(Data?Warehouse)是決策支持系統(tǒng)和聯(lián)機分析應(yīng)用數(shù)據(jù)源的結(jié)構(gòu)化數(shù)據(jù)環(huán)境，能研究和解決從數(shù)據(jù)庫中獲取信息的問題。分布式數(shù)據(jù)倉庫指使用基于GFS(Google?File?System，一個可擴展的分布式文件系統(tǒng))和MapReduce(一種編程模型，用于大規(guī)模數(shù)據(jù)集的并行運算)相關(guān)技術(shù)提供海量存儲和計算服務(wù)的數(shù)據(jù)倉庫解決方案。

采用MapReduce編程模型實現(xiàn)的分布式數(shù)據(jù)倉庫，在進行多任務(wù)調(diào)度時通常采用FIFO(First?Input?First?Output，先進先出)調(diào)度策略，即用戶提交一個任務(wù)(job)后，根據(jù)任務(wù)提交的時間和任務(wù)優(yōu)先級確定任務(wù)在FIFO隊列中的位置，隊列最前面的任務(wù)優(yōu)先得到系統(tǒng)的所有計算資源。

圖1示出了傳統(tǒng)的分布式數(shù)據(jù)倉庫中FIFO隊列中的任務(wù)調(diào)度序列圖，其描述了3個任務(wù)在FIFO隊列中的調(diào)度過程。假設(shè)系統(tǒng)總共有2個M(Map)和2個R(Reduce)計算資源。最開始任務(wù)1占用了所有的計算資源，2個M計算資源和2個R計算資源同時被調(diào)度起來，單斜線填充的表示任務(wù)正在運行。任務(wù)1的2個M計算資源結(jié)束后變成交叉線填充，接著繼續(xù)調(diào)度2個M計算資源，最后任務(wù)1只剩下一個M計算資源需要調(diào)度，多出的資源則分配給任務(wù)2。

然而，傳統(tǒng)的這種任務(wù)調(diào)度方式會有任務(wù)分配資源不公平，資源不能得到合理分配的問題。例如大任務(wù)和小任務(wù)一起運行時，隊列中有一些小任務(wù)可能夾雜在大任務(wù)中間，這樣會導(dǎo)致小任務(wù)長期處于饑渴狀態(tài)，因此無法滿足分布式數(shù)據(jù)倉庫的應(yīng)用場景既要滿足用戶非實時的大任務(wù)的同時還需要快速響應(yīng)的實時小任務(wù)的要求。

【發(fā)明內(nèi)容】

基于此，有必要提供一種能合理分配資源的分布式數(shù)據(jù)倉庫中的任務(wù)調(diào)度方法。

一種分布式數(shù)據(jù)倉庫中的任務(wù)調(diào)度方法，包括以下步驟：A.按類型將任務(wù)分為多個任務(wù)組，分別設(shè)定應(yīng)分配給任務(wù)組的資源比例；B.根據(jù)所述資源比例對所述多個任務(wù)組進行資源分配。

步驟A是：按類型將任務(wù)分為關(guān)鍵任務(wù)組、實時任務(wù)組和非實時任務(wù)組。

該方法還可包括：實時統(tǒng)計關(guān)鍵任務(wù)組中的任務(wù)正在運行的子任務(wù)數(shù)及需要運行的子任務(wù)數(shù)、實時任務(wù)組中的任務(wù)正在運行的子任務(wù)數(shù)及需要運行的子任務(wù)數(shù)、非實時任務(wù)組中的任務(wù)正在運行的子任務(wù)數(shù)及需要運行的子任務(wù)數(shù)、關(guān)鍵任務(wù)組中正在運行的子任務(wù)總數(shù)及需要運行的子任務(wù)總數(shù)、實時任務(wù)組中正在運行的子任務(wù)總數(shù)及需要運行的子任務(wù)總數(shù)、非實時任務(wù)組中正在運行的子任務(wù)總數(shù)及需要運行的子任務(wù)總數(shù)。

其中，步驟B可以是：B1.判斷所述關(guān)鍵任務(wù)組中是否有需運行的子任務(wù)，若是，則執(zhí)行步驟B2，否則執(zhí)行步驟B3；B2.按照所述關(guān)鍵任務(wù)組的調(diào)度策略將資源分配給關(guān)鍵任務(wù)組中的子任務(wù)；B3.對所述實時任務(wù)組和非實時任務(wù)組進行資源分配。

其中，步驟B3具體可以是：B31.根據(jù)所述資源比例獲取所述實時任務(wù)組的資源額度，判斷是否有資源分配給實時任務(wù)組，若是，則執(zhí)行步驟B32，否則執(zhí)行步驟B34；B32.判斷所述實時任務(wù)組中是否有需要運行的子任務(wù)且實時任務(wù)組內(nèi)正在運行的子任務(wù)總數(shù)小于所述實時任務(wù)組的資源額度，若是，則執(zhí)行步驟B33，否則執(zhí)行步驟B34；B33.按照所述實時任務(wù)組的調(diào)度策略將資源分配給所述實時任務(wù)組中的子任務(wù)；B34.根據(jù)所述資源比例獲取非實時任務(wù)組的資源額度，判斷是否有資源分配給非實時任務(wù)組，若是，則執(zhí)行步驟B35，否則執(zhí)行步驟B37；B35.判斷所述非實時任務(wù)組中是否有需要運行的子任務(wù)且非實時任務(wù)組內(nèi)正在運行的子任務(wù)總數(shù)小于非實時任務(wù)組的資源額度，若是，則執(zhí)行步驟B36，否則結(jié)束；B36.按照所述非實時任務(wù)組中的調(diào)度策略將資源分配給所述非實時任務(wù)組中的子任務(wù)。

其中，該方法還可以包括：當(dāng)所述非實時任務(wù)組中沒有需要運行的子任務(wù)或非實時任務(wù)組內(nèi)正在運行的子任務(wù)總數(shù)大于非實時任務(wù)組的資源額度時，根據(jù)所述資源比例獲取實時任務(wù)組的資源額度，進一步判斷是否有資源分配給實時任務(wù)組，若是，則進一步判斷所述實時任務(wù)組中是否有需運行的子任務(wù)且實時任務(wù)組內(nèi)正在運行的子任務(wù)總數(shù)小于實時任務(wù)組的資源額度，若是，則按照實時任務(wù)組中的調(diào)度策略將資源分配給所述實時任務(wù)組中的子任務(wù)，否則結(jié)束。

此外，還有必要提供一種能合理分配資源的分布式數(shù)據(jù)倉庫中的任務(wù)調(diào)度系統(tǒng)。