[發(fā)明專利]數(shù)據(jù)平臺任務(wù)管理方法、裝置及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202211072281.2
• 申請日: 2022-09-02
• 公開（公告）號: CN115357365A
• 公開（公告）日: 2022-11-18
• 發(fā)明（設(shè)計(jì)）人: 宋麗娟;冷英英;邢宇強(qiáng);張凱恒;李瑞;杜曉慶;馮葉飛
• 申請（專利權(quán)）人: 陽光人壽保險(xiǎn)股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 榮穎佳

1.一種數(shù)據(jù)平臺任務(wù)管理方法，其特征在于，所述方法包括：

響應(yīng)頁面化的任務(wù)創(chuàng)建操作，創(chuàng)建與任務(wù)需求信息綁定的DAG任務(wù)流；所述DAG任務(wù)流為由多個目標(biāo)任務(wù)節(jié)點(diǎn)構(gòu)成的有向無環(huán)圖；

響應(yīng)針對所述DAG任務(wù)流的觸發(fā)調(diào)度操作，在測試環(huán)境中對所述DAG任務(wù)流進(jìn)行任務(wù)調(diào)度及測試；

在測試成功后，響應(yīng)針對DAG任務(wù)流的發(fā)布操作，將所述DAG任務(wù)流發(fā)布至生產(chǎn)環(huán)境。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，響應(yīng)頁面化的任務(wù)創(chuàng)建操作，創(chuàng)建與任務(wù)需求信息綁定的DAG任務(wù)流的步驟，包括：

響應(yīng)針對需求創(chuàng)建頁面的需求創(chuàng)建操作，生成包含任務(wù)需求信息和任務(wù)流創(chuàng)建控件的顯示頁面；

響應(yīng)針對所述顯示頁面中所述任務(wù)流創(chuàng)建控件的觸控操作，顯示任務(wù)流繪制頁面；

響應(yīng)在所述任務(wù)流繪制頁面中的任務(wù)流繪制操作，生成與所述任務(wù)需求信息綁定的DAG任務(wù)流。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述任務(wù)流繪制頁面中包括多個任務(wù)節(jié)點(diǎn)及任務(wù)流繪制框；響應(yīng)在所述任務(wù)流繪制頁面中的任務(wù)流繪制操作，生成與所述任務(wù)需求信息綁定的DAG任務(wù)流的步驟，包括：

響應(yīng)多個目標(biāo)任務(wù)節(jié)點(diǎn)被拖拽至所述任務(wù)流繪制框，并根據(jù)多個所述目標(biāo)任務(wù)節(jié)點(diǎn)間的依賴關(guān)系分行的箭頭繪制操作，在所述任務(wù)流繪制框中生成DAG任務(wù)流。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述方法還包括：

響應(yīng)針對所述目標(biāo)任務(wù)節(jié)點(diǎn)的前置條件添加操作，為所述目標(biāo)任務(wù)節(jié)點(diǎn)配置對應(yīng)的前置條件；所述前置條件包括：指定任務(wù)流中的指定任務(wù)已完成，或者指定數(shù)據(jù)表中存在指定信息。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，在測試環(huán)境中對所述DAG任務(wù)流進(jìn)行任務(wù)調(diào)度及測試的步驟，包括：

對所述DAG任務(wù)流進(jìn)行任務(wù)解析，確定各個目標(biāo)任務(wù)節(jié)點(diǎn)間的任務(wù)依賴關(guān)系；

根據(jù)所述依賴關(guān)系以及廣度優(yōu)先算法進(jìn)行多任務(wù)并行調(diào)度執(zhí)行；

在所述DAG任務(wù)流中的所有目標(biāo)任務(wù)節(jié)點(diǎn)均任務(wù)執(zhí)行完成后，確定任務(wù)測試成功。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述觸發(fā)調(diào)度操作包括：手動觸發(fā)調(diào)度操作或定時觸發(fā)調(diào)度操作。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述目標(biāo)任務(wù)節(jié)點(diǎn)對應(yīng)的任務(wù)類型包括以下之一：Spark SQL任務(wù)、Spark Submit任務(wù)、Spark Shell任務(wù)、Python腳本任務(wù)和Shell腳本任務(wù)。

8.一種數(shù)據(jù)平臺任務(wù)管理裝置，其特征在于，所述裝置包括：

任務(wù)創(chuàng)建模塊，用于響應(yīng)頁面化的任務(wù)創(chuàng)建操作，創(chuàng)建與任務(wù)需求信息綁定的DAG任務(wù)流；所述DAG任務(wù)流為由多個目標(biāo)任務(wù)節(jié)點(diǎn)構(gòu)成的有向無環(huán)圖；

任務(wù)觸發(fā)模塊，用于響應(yīng)針對所述DAG任務(wù)流的觸發(fā)調(diào)度操作，在測試環(huán)境中對所述DAG任務(wù)流進(jìn)行任務(wù)調(diào)度及測試；

任務(wù)發(fā)布模塊，用于在測試成功后，響應(yīng)針對DAG任務(wù)流的發(fā)布操作，將所述DAG任務(wù)流發(fā)布至生產(chǎn)環(huán)境。

9.一種數(shù)據(jù)平臺任務(wù)管理系統(tǒng)，其特征在于，包括處理器和存儲器，所述存儲器存儲有能夠被所述處理器執(zhí)行的計(jì)算機(jī)可執(zhí)行指令，所述處理器執(zhí)行所述計(jì)算機(jī)可執(zhí)行指令以實(shí)現(xiàn)權(quán)利要求1至7任一項(xiàng)所述的方法。

10.一種計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲介質(zhì)存儲有計(jì)算機(jī)可執(zhí)行指令，所述計(jì)算機(jī)可執(zhí)行指令在被處理器調(diào)用和執(zhí)行時，計(jì)算機(jī)可執(zhí)行指令促使處理器實(shí)現(xiàn)權(quán)利要求1至7任一項(xiàng)所述的方法。