[發(fā)明專利]一種最小化作業(yè)完工時間的Spark任務(wù)分配方法

有效

• 申請?zhí)枺?/td>: 201910240852.0
• 申請日: 2019-03-28
• 公開（公告）號: CN110008013B
• 公開（公告）日: 2023-08-04
• 發(fā)明（設(shè)計）人: 李小平;徐威;朱夏;陳龍;李文政
• 申請（專利權(quán)）人: 東南大學(xué)
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 南京眾聯(lián)專利代理有限公司 32206
• 代理人: 葉倩

本發(fā)明公開了一種最小化作業(yè)完工時間的Spark任務(wù)分配方法，先計算調(diào)度階段優(yōu)先級，再添加已就緒調(diào)度階段到就緒調(diào)度階段隊列中，按優(yōu)先級給就緒隊列中的調(diào)度階段分配資源，直至資源不夠或就緒隊列為空，若就緒隊列為空則繼續(xù)添加就緒調(diào)度階段，若資源不夠則等待有調(diào)度階段完成并釋放資源，重復(fù)上述操作直至所有作業(yè)完工，綜合考慮了調(diào)度階段所處的作業(yè)優(yōu)先級和調(diào)度階段是否處于關(guān)鍵路徑上，在調(diào)度階段內(nèi)任務(wù)的資源分配方面，本方法考慮了數(shù)據(jù)傳輸時間和處理時間，使任務(wù)被放置在能最早完工的節(jié)點上執(zhí)行。

技術(shù)領(lǐng)域

本發(fā)明屬于云計算資源調(diào)度技術(shù)領(lǐng)域，具體涉及一種最小化作業(yè)完工時間的Spark任務(wù)分配方法。

背景技術(shù)

作為一種基于DAG的分布式計算框架，Spark被廣泛用于電商和物聯(lián)網(wǎng)用于復(fù)雜的大數(shù)據(jù)處理，每個Spark作業(yè)可以表示成一個DAG圖，圖上每個節(jié)點表示一個調(diào)度階段，每個調(diào)度階段由一組并行的任務(wù)構(gòu)成，其中，Spark任務(wù)調(diào)度是影響大數(shù)據(jù)分析性能的關(guān)鍵因素，主要包括調(diào)度階段優(yōu)先級的確定和調(diào)度階段內(nèi)任務(wù)的資源分配。

在確定調(diào)度階段優(yōu)先級方面，對于處于屬于不同作業(yè)的調(diào)度階段，Spark框架比較各調(diào)度階段所在的作業(yè)的優(yōu)先級，對于屬于同一作業(yè)的調(diào)度階段，Spark框架僅根據(jù)調(diào)度階段之間的偏序關(guān)系來確定優(yōu)先級。然而對于同一作業(yè)的調(diào)度來說，Spark框架沒有考慮到關(guān)鍵路徑上的調(diào)度階段分配資源對作業(yè)完工時間的影響。

在調(diào)度階段內(nèi)任務(wù)的資源分配方面，由于任務(wù)的完工時間由輸入數(shù)據(jù)的傳輸時間和數(shù)據(jù)處理時間決定，基于同構(gòu)集群，所有節(jié)點的處理能力一致，Spark框架僅考慮數(shù)據(jù)本地化來縮短任務(wù)所需的輸入數(shù)據(jù)的傳輸時間。然而，隨著高性能機(jī)器的引入，原有的數(shù)據(jù)中心已經(jīng)變成由異構(gòu)節(jié)點構(gòu)成，任務(wù)在不同的節(jié)點上運(yùn)行時處理速度不同，僅考慮數(shù)據(jù)本地化并不能得到任務(wù)的最早完工時間，因而存在很大的缺陷。

發(fā)明內(nèi)容

本發(fā)明正是針對現(xiàn)有技術(shù)中的問題，提供了一種最小化作業(yè)完工時間的Spark任務(wù)分配方法，先計算調(diào)度階段優(yōu)先級，再添加已就緒調(diào)度階段到就緒調(diào)度階段隊列中，按優(yōu)先級給就緒隊列中的調(diào)度階段分配資源，直至資源不夠或就緒隊列為空，若就緒隊列為空則繼續(xù)添加就緒調(diào)度階段，若資源不夠則等待有調(diào)度階段完成并釋放資源，重復(fù)上述操作直至所有作業(yè)完工，綜合考慮了調(diào)度階段所處的作業(yè)優(yōu)先級和調(diào)度階段是否處于關(guān)鍵路徑上，在調(diào)度階段內(nèi)任務(wù)的資源分配方面，本方法考慮了數(shù)據(jù)傳輸時間和處理時間，使任務(wù)被放置在能最早完工的節(jié)點上執(zhí)行。

為了實現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是：一種最小化作業(yè)完工時間的Spark任務(wù)分配方法，包括以下步驟：

S1,?計算所有待處理作業(yè)集合中所有作業(yè)的各調(diào)度階段的優(yōu)先級；

S2，判斷待處理作業(yè)集合中是否還有未完成資源分配的作業(yè)，若有，繼續(xù)步驟S3；否則，方法結(jié)束；

S3，從所有作業(yè)中選擇所有尚未完成資源分配且入度為0的調(diào)度階段，將其插入到就緒調(diào)度階段隊列中，且保持該隊列按作業(yè)及調(diào)度階段優(yōu)先級從高到低的順序排列，所述隊列中隊首為優(yōu)先級最高的作業(yè)中擁有最高優(yōu)先級的待分配資源的調(diào)度階段；

S4，判斷就緒調(diào)度階段隊列是否不為空且服務(wù)資源充足，若是，繼續(xù)步驟S5；若否，轉(zhuǎn)入步驟S7；

S5，按照優(yōu)先級依次為隊列中的調(diào)度階段分配資源，直至隊列為空或者服務(wù)資源不夠；

S6，將已分配資源的調(diào)度階段從就緒調(diào)度階段隊列中刪除；

S7，等待有調(diào)度階段執(zhí)行完，釋放占用的資源，將執(zhí)行完的調(diào)度階段從該調(diào)度階段所屬的作業(yè)中刪除，返回步驟S2。

作為本發(fā)明的一種改進(jìn)，所述步驟S1進(jìn)一步包括：

S11，對作業(yè)內(nèi)調(diào)度階段的拓?fù)溥M(jìn)行排序；