[發(fā)明專利]一種基于airflow和yarn的任務(wù)調(diào)度方法、裝置及介質(zhì)

有效

• 申請?zhí)枺?/td>: 201910900859.0
• 申請日: 2019-09-23
• 公開（公告）號: CN110673939B
• 公開（公告）日: 2021-12-28
• 發(fā)明（設(shè)計）人: 洪嘉凱;巫朝星;陳旺明;林智輝;鄭旭
• 申請（專利權(quán)）人: 漢納森（廈門）數(shù)據(jù)股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 廈門福貝知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 35235
• 代理人: 陳遠(yuǎn)洋

1.一種基于airflow和yarn的任務(wù)調(diào)度方法，其特征在于，該方法包括：

確定步驟，確定一組任務(wù)中的一項任務(wù)task_i與其他任務(wù)之間的依賴關(guān)系D_i、該項任務(wù)最早能執(zhí)行的時間TZ_i和每個任務(wù)必須結(jié)束的截止時間TD_i，并動態(tài)設(shè)置每個任務(wù)的允許運(yùn)行的時間范圍TP_i，然后將task_i、D_i、TZ_i、TD_i和TP_i組成一條數(shù)據(jù)記錄(task_i、D_i、TZ_i、TD_i、TP_i)存在數(shù)據(jù)庫中，其中一組任務(wù)中包括N項任務(wù)，1≦i≦N；

Airflow配置生成步驟，根據(jù)數(shù)據(jù)庫中存儲的一組任務(wù)中的每一任務(wù)的數(shù)據(jù)記錄(task_i、D_i、TZ_i、TD_i、TP_i)生成該任務(wù)的python文件，當(dāng)所有任務(wù)都生成python文件后提交Airflow服務(wù)器進(jìn)行任務(wù)的執(zhí)行；

任務(wù)運(yùn)行記錄步驟，利用爬蟲訪問yarn的管理界面獲取該組任務(wù)的所有任務(wù)的運(yùn)行情況并存入數(shù)據(jù)庫，所述運(yùn)行情況包括每一項任務(wù)的占用資源情況和每一項任務(wù)的實(shí)際開始結(jié)束時間，并基于所述運(yùn)行情況生成資源疊加圖；

任務(wù)調(diào)整步驟，使用爬蟲基于該組任務(wù)的組標(biāo)識dag_id訪問Airflow服務(wù)器獲取該組任務(wù)中每一任務(wù)的實(shí)際運(yùn)行時間、消耗內(nèi)存與依賴關(guān)系，并基于每一任務(wù)的實(shí)際運(yùn)行時間、消耗內(nèi)存與依賴關(guān)系生成網(wǎng)絡(luò)甘特圖，基于所述資源疊加圖和網(wǎng)絡(luò)甘特圖調(diào)整任務(wù)的執(zhí)行順序；

其中，基于所述資源疊加圖和網(wǎng)絡(luò)甘特圖調(diào)整任務(wù)的執(zhí)行順序的操作為：基于所述資源疊加圖計算出資源消耗最大的時間點(diǎn)，確定該時間點(diǎn)對應(yīng)的所有任務(wù)的標(biāo)識，基于該時間點(diǎn)對應(yīng)的所有任務(wù)的標(biāo)識在網(wǎng)絡(luò)甘特圖確定對應(yīng)的所有矩形，基于每一任務(wù)的數(shù)據(jù)記錄(task_i、D_i、TZ_i、TD_i、TP_i)調(diào)整該時間點(diǎn)對應(yīng)的所有任務(wù)的順序；

基于每一任務(wù)的數(shù)據(jù)記錄(task_i、D_i、TZ_i、TD_i、TP_i)調(diào)整該時間點(diǎn)對應(yīng)的所有任務(wù)的順序操作為：基于該組任務(wù)中每一任務(wù)的數(shù)據(jù)記錄計算一條關(guān)鍵路徑，關(guān)鍵路徑是指一組任務(wù)中從開始到結(jié)束的執(zhí)行時長最長的邏輯路徑，每一任務(wù)均不向前移動，移動某一任務(wù)時，根據(jù)數(shù)據(jù)記錄確定依賴該任務(wù)的任務(wù)，對依賴該任務(wù)的任務(wù)也相應(yīng)地進(jìn)行移動；如果待移動的任務(wù)位于關(guān)鍵路徑上，則不進(jìn)行移動；判斷待移動的任務(wù)和依賴它的任務(wù)在移動之后的結(jié)束時間是否超過其設(shè)定的允許最晚結(jié)束時間，如果是，則不移動；判斷待移動的任務(wù)和依賴它的任務(wù)在移動之后的結(jié)束時間是否大于移動之前的最晚結(jié)束任務(wù)的結(jié)束時間，如果是，則不移動。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述占用資源情況為占用內(nèi)存或處理器情況。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述資源疊加圖的橫坐標(biāo)為時間，縱坐標(biāo)為各個時間點(diǎn)對應(yīng)的所有任務(wù)占用的資源的和，所述網(wǎng)絡(luò)甘特圖中的每個矩形表示一項任務(wù)，矩形的長度為該任務(wù)的運(yùn)行時間，開始結(jié)束時間與時間軸上的時間相對應(yīng)，矩形框高度表示該任務(wù)所消耗的資源量。