[發(fā)明專利]任務(wù)調(diào)度的方法、裝置和設(shè)備

在審

• 申請?zhí)枺?/td>: 202210488671.1
• 申請日: 2022-05-06
• 公開（公告）號: CN115098232A
• 公開（公告）日: 2022-09-23
• 發(fā)明（設(shè)計）人: 武浩瑞;張韜
• 申請（專利權(quán)）人: 北京快樂茄信息技術(shù)有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京善任知識產(chǎn)權(quán)代理有限公司 11650
• 代理人: 李梅香;孟桂超

本申請公開了一種任務(wù)調(diào)度的方法、裝置和設(shè)備，可以應(yīng)用于大數(shù)據(jù)分析技術(shù)領(lǐng)域。該任務(wù)調(diào)度的方法包括：獲取第一任務(wù)，在第一任務(wù)執(zhí)行完成時，確定N個第二任務(wù)。其中，第二任務(wù)為第一任務(wù)的下游任務(wù)。當(dāng)N個第二任務(wù)中的第i個第二任務(wù)的上游任務(wù)執(zhí)行完成時，執(zhí)行第i個第二任務(wù)。在本申請中，下游任務(wù)在確定上游任務(wù)執(zhí)行完成時就能夠觸發(fā)執(zhí)行，無須等到固定執(zhí)行時間，有效降低了上下游任務(wù)間的延遲。

技術(shù)領(lǐng)域

本申請涉及大數(shù)據(jù)分析技術(shù)領(lǐng)域，尤其涉及一種任務(wù)調(diào)度的方法、裝置和設(shè)備。

背景技術(shù)

目前，隨著互聯(lián)網(wǎng)的高速發(fā)展，需要借助網(wǎng)絡(luò)運行的任務(wù)種類日益繁多。在大數(shù)據(jù)分析技術(shù)領(lǐng)域，多個任務(wù)之間存在復(fù)雜的依賴關(guān)系，就要求必須使用任務(wù)調(diào)度對任務(wù)進(jìn)行管理。

傳統(tǒng)的任務(wù)調(diào)度主要采用周期定時執(zhí)行、以任務(wù)作為上游依賴的調(diào)度方式。由于用戶在配置任務(wù)時，幾乎不能給出一個最合適的定時執(zhí)行時間。這就導(dǎo)致了傳統(tǒng)的任務(wù)調(diào)度方法存在高延遲的問題。

發(fā)明內(nèi)容

本申請?zhí)峁┝艘环N任務(wù)調(diào)度的方法、裝置和設(shè)備，以實現(xiàn)降低上下游任務(wù)之間的延遲。

第一方面，本申請?zhí)峁┮环N任務(wù)調(diào)度的方法，包括：獲取第一任務(wù)；當(dāng)?shù)谝蝗蝿?wù)執(zhí)行完成時，確定N個第二任務(wù)，第二任務(wù)為第一任務(wù)的下游任務(wù)，N為正整數(shù)；當(dāng)N個第二任務(wù)中的第i個第二任務(wù)的上游任務(wù)執(zhí)行完成時，執(zhí)行第i個第二任務(wù)。

在一些可能的實施方式中，在獲取第一任務(wù)之后，方法還包括：根據(jù)第一任務(wù)的第一依賴數(shù)據(jù)表和第一執(zhí)行參數(shù)，執(zhí)行第一任務(wù)；第一依賴數(shù)據(jù)表指示第一任務(wù)在執(zhí)行時所依賴的上游任務(wù)產(chǎn)出的數(shù)據(jù)表。

在一些可能的實施方式中，當(dāng)?shù)谝蝗蝿?wù)執(zhí)行完成時，確定N個第二任務(wù)，包括：當(dāng)?shù)谝蝗蝿?wù)執(zhí)行完成時，獲得第一產(chǎn)出數(shù)據(jù)表，第一產(chǎn)出數(shù)據(jù)表為第一任務(wù)在執(zhí)行完成時產(chǎn)出的數(shù)據(jù)表；將第一任務(wù)的下游任務(wù)中，依賴于第一產(chǎn)出數(shù)據(jù)表的N個下游任務(wù)確定為N個第二任務(wù)。

在一些可能的實施方式中，第一執(zhí)行參數(shù)至少包括以下之一：執(zhí)行粒度、依賴粒度、依賴時間偏移量和產(chǎn)出時間偏移量；其中，執(zhí)行粒度用于表示執(zhí)行第一任務(wù)的執(zhí)行周期；依賴粒度用于表示第一任務(wù)在執(zhí)行時所依賴第一依賴數(shù)據(jù)表的周期；依賴時間偏移量用于表示執(zhí)行第一任務(wù)的執(zhí)行時刻與第一依賴數(shù)據(jù)表的產(chǎn)出時刻之間的偏移值；產(chǎn)出時間偏移量用于表示執(zhí)行第一任務(wù)的執(zhí)行時刻與第一任務(wù)產(chǎn)出數(shù)據(jù)表的產(chǎn)出時刻之間的偏移值。

在一些可能的實施方式中，

執(zhí)行周期至少包括以下之一：一個月、一周、一天以及一小時。

在一些可能的實施方式中，在當(dāng)N個第二任務(wù)中的第i個第二任務(wù)的上游任務(wù)執(zhí)行完成時，執(zhí)行第i個第二任務(wù)之前，方法還包括：輪詢N個第二任務(wù)；根據(jù)每一個第二任務(wù)的第二依賴數(shù)據(jù)表，確定每一個第二任務(wù)的上游任務(wù)，其中，第二依賴數(shù)據(jù)表用于指示每一個第二任務(wù)在執(zhí)行時所依賴的上游任務(wù)產(chǎn)出的數(shù)據(jù)表。

在一些可能的實施方式中，在根據(jù)每一個第二任務(wù)的第二依賴數(shù)據(jù)表，確定每一個第二任務(wù)的上游任務(wù)之后，方法還包括：檢測每一個第二任務(wù)的上游任務(wù)是否產(chǎn)出數(shù)據(jù)表；當(dāng)檢測到第i個第二任務(wù)的上游任務(wù)已產(chǎn)出數(shù)據(jù)表時，確定第i個第二任務(wù)的上游任務(wù)執(zhí)行完成。

在一些可能的實施方式中，在當(dāng)?shù)谝蝗蝿?wù)執(zhí)行完成時，確定N個第二任務(wù)之后，方法還包括：根據(jù)N個第二任務(wù)中的每一個第二任務(wù)的第二執(zhí)行參數(shù)，為每一個第二任務(wù)注冊執(zhí)行觸發(fā)器，執(zhí)行觸發(fā)器用于在對應(yīng)的第二任務(wù)的執(zhí)行時刻到達(dá)時觸發(fā)第二任務(wù)執(zhí)行；當(dāng)N個第二任務(wù)中的第i個第二任務(wù)的上游任務(wù)執(zhí)行完成時，執(zhí)行第i個第二任務(wù)，包括：當(dāng)?shù)趇個第二任務(wù)的上游任務(wù)執(zhí)行完成時，觸發(fā)第i個第二任務(wù)對應(yīng)的執(zhí)行觸發(fā)器。