[發(fā)明專利]一種分布式任務系統(tǒng)的任務調(diào)度方法及裝置

在審

• 申請?zhí)枺?/td>: 201710694826.6
• 申請日: 2017-08-15
• 公開（公告）號: CN109408204A
• 公開（公告）日: 2019-03-01
• 發(fā)明（設計）人: 翁忠杰;曾文秋
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京安信方達知識產(chǎn)權代理有限公司 11262
• 代理人: 栗若木;龍洪

本申請?zhí)峁┮环N分布式任務系統(tǒng)的任務調(diào)度方法及裝置；其中，任務調(diào)度方法包括：當待運行節(jié)點的任務實例時，檢查待運行的任務實例所依賴的任務實例；其中，所述待運行的任務實例所依賴的任務實例包括：前一個周期運行的任務實例；如果所述待運行的任務實例所依賴的任務實例已產(chǎn)出，則運行所述待運行的任務實例。本申請至少一個實施例能夠實現(xiàn)復雜的調(diào)度依賴關系。

技術領域

本發(fā)明涉及數(shù)據(jù)處理領域，尤其涉及一種分布式任務系統(tǒng)的任務調(diào)度方法及裝置。

背景技術

目前業(yè)界的常見的數(shù)據(jù)生產(chǎn)工作流任務調(diào)度器，通常都用于在一個工作流內(nèi)以一個特定的順序運行一組工作和流程。這些工作流調(diào)度器可以支持Cron語法調(diào)度，但是通常場景比較簡單。

最常見的按天運行的工作流，按照工作流中的依賴關系定義，每個節(jié)點每天生成一份任務實例運行；這里的節(jié)點是指工作流中的任務節(jié)點。比如圖1中，節(jié)點a和節(jié)點b每天零點分別運行任務實例A和任務實例B，其中，任務實例B依賴任務實例A。

較為復雜的情況下，可能需要一個工作流每天定時運行多次，即按小時支持Cron語法調(diào)度。

這種場景下，按照工作流的定義，為工作流中的每一個任務節(jié)點在指定的定時時間運行一份任務實例，不同時間點執(zhí)行的工作流相互獨立，工作流中的任務不會跨工作流依賴，互不影響。比如圖2中，節(jié)點a和節(jié)點b在每天的0點、8點和16點各運行一個任務實例；節(jié)點a每天運行三個任務實例A1、A2、A3；節(jié)點b每天運行的三個任務實例B1、B2、B3，分別依賴A1、A2、A3。

目前的大數(shù)據(jù)工作流系統(tǒng)可以實現(xiàn)工作流的定時調(diào)度功能，但在依賴調(diào)度上存在極大的局限性。

發(fā)明內(nèi)容

本申請?zhí)峁┮环N分布式任務系統(tǒng)的任務調(diào)度方法及裝置，能夠實現(xiàn)復雜的調(diào)度依賴關系。

本申請采用如下技術方案。

一種分布式任務系統(tǒng)的任務調(diào)度方法，包括：

當待運行節(jié)點的任務實例時，檢查待運行的任務實例所依賴的任務實例；其中，所述待運行的任務實例所依賴的任務實例包括：前一個周期運行的任務實例；

如果所述待運行的任務實例所依賴的任務實例已產(chǎn)出，則運行所述待運行的任務實例。

其中，所述前一個周期運行的任務實例可以包括以下一種或多種：

在前一個周期運行的本節(jié)點的任務實例；

在前一個周期運行的其它節(jié)點的任務實例。

其中，如果所述待運行的任務實例是在當前系統(tǒng)周期中本節(jié)點的首個任務實例，則所述在前一個周期所運行的本節(jié)點的任務實例可以是指：前一個系統(tǒng)周期中，本節(jié)點最后一個任務實例；

如果所述待運行的任務實例不是在當前系統(tǒng)周期中本節(jié)點的首個任務實例，則所述在前一個周期所運行的本節(jié)點的任務實例可以是指：同一個系統(tǒng)周期中，前一個任務周期運行的本節(jié)點的任務實例；

其中，一個所述系統(tǒng)周期中可以包含一個或多個任務周期；對于一個節(jié)點，在一個任務周期中運行一個任務實例。

其中，所述在前一個周期運行的其它節(jié)點的任務實例可以包括以下一種或多種：

在同一個系統(tǒng)周期的前一個任務周期運行的其它節(jié)點的任務實例；

在前一個系統(tǒng)周期運行的其它節(jié)點的一個或多個任務實例；

其中，一個所述系統(tǒng)周期中可以包含一個或多個任務周期；對于一個節(jié)點，在一個任務周期中運行一個任務實例。