[發(fā)明專利]數(shù)據(jù)處理方法、裝置、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110057900.X
• 申請(qǐng)日: 2021-01-15
• 公開（公告）號(hào): CN112860392A
• 公開（公告）日: 2021-05-28
• 發(fā)明（設(shè)計(jì)）人: 葉青松;王文柏;樊華
• 申請(qǐng)（專利權(quán)）人: 中國銀聯(lián)股份有限公司
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48
• 代理公司: 北京東方億思知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11258
• 代理人: 彭瓊

本申請(qǐng)公開了一種數(shù)據(jù)處理方法、裝置、設(shè)備及介質(zhì)。其中，該數(shù)據(jù)處理方法包括：首先，獲取待執(zhí)行的目標(biāo)數(shù)據(jù)，目標(biāo)數(shù)據(jù)包括目標(biāo)任務(wù)參數(shù)。接著，根據(jù)目標(biāo)任務(wù)參數(shù)，確定與目標(biāo)任務(wù)參數(shù)對(duì)應(yīng)的目標(biāo)任務(wù)層參數(shù)；其中，目標(biāo)任務(wù)層參數(shù)包括第一任務(wù)層和第二任務(wù)層，第一任務(wù)層包括多個(gè)具有前后依賴關(guān)系的第一執(zhí)行任務(wù)，第一執(zhí)行任務(wù)中的每個(gè)第一執(zhí)行任務(wù)與第二任務(wù)層中的至少一個(gè)第二執(zhí)行任務(wù)對(duì)應(yīng)。然后，按照具有前后依賴關(guān)系的第一執(zhí)行任務(wù)的排列順序，執(zhí)行目標(biāo)數(shù)據(jù)的每個(gè)第一執(zhí)行任務(wù)對(duì)應(yīng)的第二執(zhí)行任務(wù)，得到目標(biāo)數(shù)據(jù)的執(zhí)行結(jié)果。根據(jù)本申請(qǐng)實(shí)施例，能夠提高任務(wù)處理效率。

技術(shù)領(lǐng)域

本申請(qǐng)屬于計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)

目前，經(jīng)常會(huì)有很多需要進(jìn)行批量處理的任務(wù)，例如發(fā)送郵件的任務(wù)需要每天凌晨2點(diǎn)執(zhí)行一次、分析并清理多個(gè)日志的任務(wù)等。

然而，相關(guān)技術(shù)中的任務(wù)處理方式在一些場(chǎng)景下并不適用，如在支持順序任務(wù)調(diào)度的框架中，對(duì)于周期型任務(wù)，需要重復(fù)配置同一任務(wù)，這樣，會(huì)造成參數(shù)臃腫，可維護(hù)性困難；或者，在任務(wù)調(diào)度程序在發(fā)起任務(wù)后，若出現(xiàn)任務(wù)執(zhí)行主機(jī)宕機(jī)，調(diào)度程序不會(huì)進(jìn)行任務(wù)恢復(fù)，需要手工重新發(fā)起任務(wù)。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供一種數(shù)據(jù)處理方法、裝置、設(shè)備及介質(zhì)，能夠提高任務(wù)處理效率。

第一方面，本申請(qǐng)實(shí)施例提供了一種數(shù)據(jù)處理方法，該數(shù)據(jù)處理方法可以包括：

獲取待執(zhí)行的目標(biāo)數(shù)據(jù)，目標(biāo)數(shù)據(jù)包括目標(biāo)任務(wù)參數(shù)；

根據(jù)目標(biāo)任務(wù)參數(shù)，確定與目標(biāo)任務(wù)參數(shù)對(duì)應(yīng)的目標(biāo)任務(wù)層參數(shù)；其中，目標(biāo)任務(wù)層參數(shù)包括第一任務(wù)層和第二任務(wù)層，第一任務(wù)層包括多個(gè)具有前后依賴關(guān)系的第一執(zhí)行任務(wù)，第一執(zhí)行任務(wù)中的每個(gè)第一執(zhí)行任務(wù)與第二任務(wù)層中的至少一個(gè)第二執(zhí)行任務(wù)對(duì)應(yīng)；

按照具有前后依賴關(guān)系的第一執(zhí)行任務(wù)的排列順序，執(zhí)行目標(biāo)數(shù)據(jù)的每個(gè)第一執(zhí)行任務(wù)對(duì)應(yīng)的第二執(zhí)行任務(wù)，得到目標(biāo)數(shù)據(jù)的執(zhí)行結(jié)果。

第二方面，本申請(qǐng)實(shí)施例提供了一種數(shù)據(jù)處理裝置，該數(shù)據(jù)處理裝置可以包括：

獲取模塊，用于獲取待執(zhí)行的目標(biāo)數(shù)據(jù)，目標(biāo)數(shù)據(jù)包括目標(biāo)任務(wù)參數(shù)；

確定模塊，用于根據(jù)目標(biāo)任務(wù)參數(shù)，確定與目標(biāo)任務(wù)參數(shù)對(duì)應(yīng)的目標(biāo)任務(wù)層參數(shù)；其中，目標(biāo)任務(wù)層參數(shù)包括第一任務(wù)層和第二任務(wù)層，第一任務(wù)層包括多個(gè)具有前后依賴關(guān)系的第一執(zhí)行任務(wù)，第一執(zhí)行任務(wù)中的每個(gè)第一執(zhí)行任務(wù)與第二任務(wù)層中的至少一個(gè)第二執(zhí)行任務(wù)對(duì)應(yīng)；

處理模塊，用于按照具有前后依賴關(guān)系的第一執(zhí)行任務(wù)的排列順序，執(zhí)行目標(biāo)數(shù)據(jù)的每個(gè)第一執(zhí)行任務(wù)對(duì)應(yīng)的第二執(zhí)行任務(wù)，得到目標(biāo)數(shù)據(jù)的執(zhí)行結(jié)果。

第三方面，本申請(qǐng)實(shí)施例提供了一種數(shù)據(jù)處理系統(tǒng)，該數(shù)據(jù)處理系統(tǒng)可以包括任務(wù)調(diào)度單元、任務(wù)管理單元和節(jié)點(diǎn)管理單元；其中，

任務(wù)調(diào)度單元，用于獲取待執(zhí)行的目標(biāo)數(shù)據(jù)，目標(biāo)數(shù)據(jù)包括目標(biāo)任務(wù)參數(shù)；

任務(wù)管理單元，用于根據(jù)目標(biāo)任務(wù)參數(shù)，確定與目標(biāo)任務(wù)參數(shù)對(duì)應(yīng)的目標(biāo)任務(wù)層參數(shù)；其中，目標(biāo)任務(wù)層參數(shù)包括第一任務(wù)層和第二任務(wù)層，第一任務(wù)層包括多個(gè)具有前后依賴關(guān)系的第一執(zhí)行任務(wù)，第一執(zhí)行任務(wù)中的每個(gè)第一執(zhí)行任務(wù)與第二任務(wù)層中的至少一個(gè)第二執(zhí)行任務(wù)對(duì)應(yīng)；

任務(wù)調(diào)度單元，用于調(diào)用與第二執(zhí)行任務(wù)對(duì)應(yīng)的應(yīng)用節(jié)點(diǎn)，按照具有前后依賴關(guān)系的第一執(zhí)行任務(wù)的排列順序，執(zhí)行目標(biāo)數(shù)據(jù)的每個(gè)第一執(zhí)行任務(wù)對(duì)應(yīng)的第二執(zhí)行任務(wù)，得到目標(biāo)數(shù)據(jù)的執(zhí)行結(jié)果。

第四方面，本申請(qǐng)實(shí)施例提供了一種數(shù)據(jù)處理設(shè)備，該數(shù)據(jù)處理設(shè)備包括：

處理器以及存儲(chǔ)有計(jì)算機(jī)程序指令的存儲(chǔ)器；

處理器執(zhí)行計(jì)算機(jī)程序指令時(shí)實(shí)現(xiàn)如第一方面所示的數(shù)據(jù)處理方法。