[發(fā)明專(zhuān)利]一種分布式作業(yè)流任務(wù)管理和調(diào)度系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110208489.1
• 申請(qǐng)日: 2021-02-25
• 公開(kāi)（公告）號(hào): CN112860405B
• 公開(kāi)（公告）日: 2022-11-15
• 發(fā)明（設(shè)計(jì)）人: 張振洪;周犇
• 申請(qǐng)（專(zhuān)利權(quán)）人: 上海浦東發(fā)展銀行股份有限公司
• 主分類(lèi)號(hào): G06F9/48
• 分類(lèi)號(hào): G06F9/48;G06F9/50
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司 11127
• 代理人: 賈磊;許曼

本文提供了一種分布式作業(yè)流任務(wù)管理和調(diào)度系統(tǒng)及方法，其中，系統(tǒng)包括：數(shù)據(jù)庫(kù)節(jié)點(diǎn)、主調(diào)度節(jié)點(diǎn)及子調(diào)度節(jié)點(diǎn)；數(shù)據(jù)庫(kù)節(jié)點(diǎn)用于存儲(chǔ)作業(yè)配置信息，其中，作業(yè)配置信息包括子調(diào)度節(jié)點(diǎn)最大作業(yè)量、計(jì)算平臺(tái)最大作業(yè)量、作業(yè)資源消耗量；主調(diào)度節(jié)點(diǎn)連接數(shù)據(jù)庫(kù)節(jié)點(diǎn)及子調(diào)度節(jié)點(diǎn)，用于根據(jù)作業(yè)配置信息及待處理作業(yè)隊(duì)列，生成作業(yè)分發(fā)信息并將其發(fā)送至子調(diào)度節(jié)點(diǎn)，其中，作業(yè)分發(fā)信息包括待處理作業(yè)、子調(diào)度節(jié)點(diǎn)及計(jì)算平臺(tái)關(guān)聯(lián)關(guān)系；子調(diào)度節(jié)點(diǎn)用于根據(jù)作業(yè)分發(fā)信息，將待處理作業(yè)提交至相應(yīng)計(jì)算平臺(tái)處理，其中，作業(yè)由計(jì)算平臺(tái)的待處理作業(yè)邏輯封裝得到。本文能夠?qū)⒄{(diào)度與作業(yè)相分離，消除計(jì)算平臺(tái)的技術(shù)特征差異，實(shí)現(xiàn)統(tǒng)一調(diào)度。

技術(shù)領(lǐng)域

本文涉及業(yè)務(wù)調(diào)度領(lǐng)域，尤其涉及一種分布式作業(yè)流任務(wù)管理和調(diào)度系統(tǒng)及方法。

背景技術(shù)

大數(shù)據(jù)時(shí)代，諸多開(kāi)源或者商業(yè)大數(shù)據(jù)計(jì)算引擎系統(tǒng)，均存在海量的復(fù)雜數(shù)據(jù)分析或者計(jì)算任務(wù)，且作業(yè)鏈路依賴(lài)復(fù)雜。為解決或適配該類(lèi)場(chǎng)景，當(dāng)前開(kāi)源和商業(yè)軟件領(lǐng)域均有一定的解決方案涌現(xiàn)，各有優(yōu)缺點(diǎn)。當(dāng)前主流的幾類(lèi)開(kāi)源和商業(yè)的批量作業(yè)調(diào)度系統(tǒng)主要有如下幾類(lèi)：

Azkaban，主要應(yīng)用于開(kāi)源大數(shù)據(jù)生態(tài)圈相關(guān)批量處理場(chǎng)景，經(jīng)過(guò)特定封裝也可以應(yīng)用在商業(yè)計(jì)算引擎領(lǐng)域，功能較全面，調(diào)度支持能力良好，但在大規(guī)模作業(yè)配置和上線的流程上存在缺陷，單一作業(yè)的調(diào)整，需要重新調(diào)整全部作業(yè)依賴(lài)和觸發(fā)圖，變更靈活度不夠。且針對(duì)同一時(shí)間就緒的作業(yè)海量作業(yè)，缺乏一定的優(yōu)先級(jí)調(diào)度功能。

Airflow，為輕量級(jí)的開(kāi)源調(diào)度工具，二次開(kāi)發(fā)的成本較高，并發(fā)控制很難做到根據(jù)調(diào)度場(chǎng)景調(diào)整，小問(wèn)題比較多，需要去定制化改造源代碼。

Oozie，不支持準(zhǔn)時(shí)間或微批調(diào)度場(chǎng)景，更多的是針對(duì)于hadoop的整合配置，擴(kuò)展性較差，對(duì)傳統(tǒng)商用計(jì)算平臺(tái)的任務(wù)作業(yè)支持能力不足，針對(duì)跨計(jì)算引擎平臺(tái)的作業(yè)任務(wù)調(diào)度能力支持不足，Web監(jiān)控功能較弱。一般小規(guī)模個(gè)性化的集群任務(wù)調(diào)度可以采用，但大批量的任務(wù)調(diào)度不適用。

Control-M，商用重量級(jí)的作業(yè)流調(diào)度工具，功能強(qiáng)大，支持跨平臺(tái)的海量任務(wù)調(diào)度能力，但商業(yè)授權(quán)費(fèi)用昂貴，使用復(fù)雜，且無(wú)容器化部署方案案例。

現(xiàn)有開(kāi)源或商業(yè)的作業(yè)流任務(wù)管理和調(diào)度系統(tǒng)能夠解決特定場(chǎng)景下的作業(yè)流任務(wù)統(tǒng)一調(diào)度和分發(fā)執(zhí)行，每種調(diào)度系統(tǒng)都只能在特定場(chǎng)景下提供任務(wù)調(diào)度支持，在綜合性復(fù)雜場(chǎng)景下的任務(wù)調(diào)度，則顯得不足，例如各類(lèi)開(kāi)源計(jì)算引擎(例如GreenPlum，Kylin，ClickHouse，Hadoop等)和商業(yè)計(jì)算引擎(例如Teradata，Oracle，IBM InfoSphereDataStage，IBM DB2等)共存，且彼此之間存在復(fù)雜的數(shù)據(jù)流交互的綜合場(chǎng)景。如果針對(duì)每套計(jì)算引擎都部署一套獨(dú)立的調(diào)度，則在日常數(shù)據(jù)需求開(kāi)發(fā)交付時(shí)效上和數(shù)據(jù)對(duì)外服務(wù)時(shí)效上均存在一定的滯后。同時(shí)，如何對(duì)數(shù)據(jù)開(kāi)發(fā)人員基礎(chǔ)不同，開(kāi)發(fā)能力強(qiáng)弱不均的痛點(diǎn)，并在短時(shí)間內(nèi)有效的組織大規(guī)模作業(yè)流任務(wù)的上線部署和驗(yàn)證，均存在很大的挑戰(zhàn)。

發(fā)明內(nèi)容

本文用于解決現(xiàn)有技術(shù)中，在綜合性復(fù)雜場(chǎng)景下的任務(wù)調(diào)度存在調(diào)度與作業(yè)融合，沒(méi)有統(tǒng)一管理不同計(jì)算平臺(tái)的統(tǒng)一調(diào)度方案，且對(duì)數(shù)據(jù)開(kāi)發(fā)人員能力要求較高的問(wèn)題。

為了解決上述問(wèn)題，本文的第一方面提供一種分布式作業(yè)流任務(wù)管理和調(diào)度系統(tǒng)，包括：數(shù)據(jù)庫(kù)節(jié)點(diǎn)、主調(diào)度節(jié)點(diǎn)及子調(diào)度節(jié)點(diǎn)；

所述數(shù)據(jù)庫(kù)節(jié)點(diǎn)用于存儲(chǔ)作業(yè)配置信息，其中，所述作業(yè)配置信息包括子調(diào)度節(jié)點(diǎn)最大作業(yè)量、計(jì)算平臺(tái)最大作業(yè)量、作業(yè)資源消耗量；

所述主調(diào)度節(jié)點(diǎn)連接所述數(shù)據(jù)庫(kù)節(jié)點(diǎn)及子調(diào)度節(jié)點(diǎn)，用于根據(jù)所述作業(yè)配置信息及待處理作業(yè)隊(duì)列，生成作業(yè)分發(fā)信息并將其發(fā)送至所述子調(diào)度節(jié)點(diǎn)，其中，所述作業(yè)分發(fā)信息包括待處理作業(yè)、子調(diào)度節(jié)點(diǎn)及計(jì)算平臺(tái)關(guān)聯(lián)關(guān)系；

所述子調(diào)度節(jié)點(diǎn)用于根據(jù)作業(yè)分發(fā)信息，將待處理作業(yè)提交至相應(yīng)計(jì)算平臺(tái)處理，其中，所述待處理作業(yè)由計(jì)算平臺(tái)的作業(yè)邏輯封裝得到。