[發(fā)明專利]大數(shù)據(jù)批量作業(yè)任務(wù)調(diào)度方法及裝置

在審

• 申請?zhí)枺?/td>: 202010906310.5
• 申請日: 2020-09-01
• 公開（公告）號: CN112035233A
• 公開（公告）日: 2020-12-04
• 發(fā)明（設(shè)計(jì)）人: 楊曉曉
• 申請（專利權(quán)）人: 中國銀行股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F11/30
• 代理公司: 北京三友知識產(chǎn)權(quán)代理有限公司 11127
• 代理人: 谷敬麗;薛平

本發(fā)明公開了一種大數(shù)據(jù)批量作業(yè)任務(wù)調(diào)度方法及裝置，其中該方法包括：定義對大數(shù)據(jù)執(zhí)行批處理的批量作業(yè)，批量作業(yè)中包含：多個(gè)任務(wù)；配置批量作業(yè)的批量參數(shù)信息；根據(jù)配置的批量參數(shù)信息，執(zhí)行批量作業(yè)中的各個(gè)任務(wù)；監(jiān)控批量作業(yè)的作業(yè)執(zhí)行狀態(tài)和批量作業(yè)中各個(gè)任務(wù)的任務(wù)執(zhí)行狀態(tài)；根據(jù)監(jiān)控結(jié)果，對批量作業(yè)的各個(gè)任務(wù)進(jìn)行調(diào)度。本發(fā)明能夠?qū)崿F(xiàn)基于Java技術(shù)開發(fā)的大數(shù)據(jù)批量作業(yè)任務(wù)調(diào)度機(jī)制，以實(shí)現(xiàn)對MPP數(shù)據(jù)庫的批處理任務(wù)進(jìn)行調(diào)度。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)批處理領(lǐng)域，尤其涉及一種大數(shù)據(jù)批量作業(yè)任務(wù)調(diào)度方法及裝置。

背景技術(shù)

本部分旨在為權(quán)利要求書中陳述的本發(fā)明實(shí)施例提供背景或上下文。此處的描述不因?yàn)榘ㄔ诒静糠种芯统姓J(rèn)是現(xiàn)有技術(shù)。

大規(guī)模并行分析(Analytical Massively Parallel Processing，MPP)架構(gòu)能夠?qū)⑷蝿?wù)并行分散到多個(gè)節(jié)點(diǎn)上，在每個(gè)節(jié)點(diǎn)上計(jì)算完成后，再將各自部分的結(jié)果匯總在一起得到最終的結(jié)果。采用MPP架構(gòu)的數(shù)據(jù)庫稱為MPP數(shù)據(jù)庫。

由于MPP數(shù)據(jù)庫具有很強(qiáng)的并行數(shù)據(jù)計(jì)算能力和海量數(shù)據(jù)存儲能力，非常適用于大數(shù)據(jù)分析和計(jì)算，目前已被很廣泛用作各大銀行的大數(shù)據(jù)管理平臺，以應(yīng)對銀行系統(tǒng)中呈現(xiàn)爆發(fā)式增長的海量數(shù)據(jù)。

大數(shù)據(jù)分析離不開任務(wù)調(diào)度，任務(wù)調(diào)度在大數(shù)據(jù)平臺架構(gòu)中扮演十分重要的角色。目前，各大銀行的大數(shù)據(jù)管理平臺，尚未出現(xiàn)基于Java技術(shù)的大數(shù)據(jù)批量作業(yè)任務(wù)調(diào)度機(jī)制，以負(fù)責(zé)調(diào)起和控制MPP數(shù)據(jù)庫的批處理調(diào)度任務(wù)。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例中提供了一種大數(shù)據(jù)批量作業(yè)任務(wù)調(diào)度方法，用以解決現(xiàn)有技術(shù)中尚未出現(xiàn)基于Java開發(fā)的大數(shù)據(jù)批量作業(yè)任務(wù)調(diào)度機(jī)制的技術(shù)問題，該方法包括：定義對大數(shù)據(jù)執(zhí)行批處理的批量作業(yè)，批量作業(yè)中包含：多個(gè)任務(wù)；配置批量作業(yè)的批量參數(shù)信息；根據(jù)配置的批量參數(shù)信息，執(zhí)行批量作業(yè)中的各個(gè)任務(wù)；監(jiān)控批量作業(yè)的作業(yè)執(zhí)行狀態(tài)和批量作業(yè)中各個(gè)任務(wù)的任務(wù)執(zhí)行狀態(tài)；根據(jù)監(jiān)控結(jié)果，對批量作業(yè)的各個(gè)任務(wù)進(jìn)行調(diào)度。

本發(fā)明實(shí)施例中還提供了一種大數(shù)據(jù)批量作業(yè)任務(wù)調(diào)度裝置，用以解決現(xiàn)有技術(shù)中尚未出現(xiàn)基于Java開發(fā)的大數(shù)據(jù)批量作業(yè)任務(wù)調(diào)度機(jī)制的技術(shù)問題，該裝置包括：批量作業(yè)定義模塊，用于定義對大數(shù)據(jù)執(zhí)行批處理的批量作業(yè)，批量作業(yè)中包含：多個(gè)任務(wù)；批量參數(shù)配置模塊，用于配置批量作業(yè)的批量參數(shù)信息；批量任務(wù)執(zhí)行模塊，用于根據(jù)配置的批量參數(shù)信息，執(zhí)行批量作業(yè)中的各個(gè)任務(wù)；執(zhí)行狀態(tài)監(jiān)控模塊，用于監(jiān)控批量作業(yè)的作業(yè)執(zhí)行狀態(tài)和批量作業(yè)中各個(gè)任務(wù)的任務(wù)執(zhí)行狀態(tài)；任務(wù)調(diào)度模塊，用于根據(jù)監(jiān)控結(jié)果，對批量作業(yè)的各個(gè)任務(wù)進(jìn)行調(diào)度。

本發(fā)明實(shí)施例中還提供了一種計(jì)算機(jī)設(shè)備，用以解決現(xiàn)有技術(shù)中尚未出現(xiàn)基于Java開發(fā)的大數(shù)據(jù)批量作業(yè)任務(wù)調(diào)度機(jī)制的技術(shù)問題，該計(jì)算機(jī)設(shè)備包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，處理器執(zhí)行計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述大數(shù)據(jù)批量作業(yè)任務(wù)調(diào)度方法。

本發(fā)明實(shí)施例中還提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，用以解決現(xiàn)有技術(shù)中尚未出現(xiàn)基于Java開發(fā)的大數(shù)據(jù)批量作業(yè)任務(wù)調(diào)度機(jī)制的技術(shù)問題，該計(jì)算機(jī)可讀存儲介質(zhì)存儲有執(zhí)行上述大數(shù)據(jù)批量作業(yè)任務(wù)調(diào)度方法的計(jì)算機(jī)程序。

本發(fā)明實(shí)施例中，通過定義對大數(shù)據(jù)執(zhí)行批處理的包含多個(gè)任務(wù)的批量作業(yè)，在配置該批量作業(yè)的批量參數(shù)信息后，根據(jù)配置的批量參數(shù)信息，執(zhí)行該批量作業(yè)中的各個(gè)任務(wù)，通過監(jiān)控批量作業(yè)的作業(yè)執(zhí)行狀態(tài)和批量作業(yè)中各個(gè)任務(wù)的任務(wù)執(zhí)行狀態(tài)，進(jìn)而根據(jù)監(jiān)控結(jié)果，對批量作業(yè)的各個(gè)任務(wù)進(jìn)行調(diào)度，能夠?qū)崿F(xiàn)基于Java技術(shù)開發(fā)的大數(shù)據(jù)批量作業(yè)任務(wù)調(diào)度機(jī)制，以實(shí)現(xiàn)對MPP數(shù)據(jù)庫的批處理任務(wù)進(jìn)行調(diào)度。

附圖說明