[發(fā)明專利]一種最小化作業(yè)完工時間的Spark任務(wù)分配方法

有效

• 申請?zhí)枺?/td>: 201910240852.0
• 申請日: 2019-03-28
• 公開（公告）號: CN110008013B
• 公開（公告）日: 2023-08-04
• 發(fā)明（設(shè)計）人: 李小平;徐威;朱夏;陳龍;李文政
• 申請（專利權(quán)）人: 東南大學
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 南京眾聯(lián)專利代理有限公司 32206
• 代理人: 葉倩

1.一種最小化作業(yè)完工時間的Spark任務(wù)分配方法，其特征在于，包括以下步驟：

S1,計算所有待處理作業(yè)集合中所有作業(yè)的各調(diào)度階段的優(yōu)先級；本步驟進一步包括：

S11，對作業(yè)內(nèi)調(diào)度階段的拓撲進行排序；

S12，將拓撲序列中最后一個調(diào)度階段的優(yōu)先級初始化為0，按照拓撲的逆序，依次求得各調(diào)度階段的優(yōu)先級；各調(diào)度階段優(yōu)先級的計算方法為：分別求所有后繼調(diào)度階段優(yōu)先級與執(zhí)行時間之和，取最大值；

S2，判斷待處理作業(yè)集合中是否還有未完成資源分配的作業(yè)，若有，繼續(xù)步驟S3；否則，方法結(jié)束；

S3，從所有作業(yè)中選擇所有尚未完成資源分配且入度為0的調(diào)度階段，將其插入到就緒調(diào)度階段隊列中，且保持該隊列按作業(yè)及調(diào)度階段優(yōu)先級從高到低的順序排列，所述隊列中隊首為優(yōu)先級最高的作業(yè)中擁有最高優(yōu)先級的待分配資源的調(diào)度階段；本步驟具體包括：

S31，將調(diào)度階段中的任務(wù)按照各個任務(wù)待處理數(shù)據(jù)量降序排序；

S32，從調(diào)度階段中未分配資源的任務(wù)中選擇待處理數(shù)據(jù)量最大的任務(wù)，將該任務(wù)分配在能使其獲得最早完工時間的節(jié)點上執(zhí)行；

S33，重復步驟S32，直到調(diào)度階段中所有任務(wù)完成資源分配；

S4，判斷就緒調(diào)度階段隊列是否不為空且服務(wù)資源充足，若是，繼續(xù)步驟S5；若否，轉(zhuǎn)入步驟S7；

S5，按照優(yōu)先級依次為隊列中的調(diào)度階段分配資源，直至隊列為空或者服務(wù)資源不夠；

S6，將已分配資源的調(diào)度階段從就緒調(diào)度階段隊列中刪除；

S7，等待有調(diào)度階段執(zhí)行完，釋放占用的資源，將執(zhí)行完的調(diào)度階段從該調(diào)度階段所屬的作業(yè)中刪除，返回步驟S2。