[發明專利]數據平臺任務管理方法、裝置及系統

在審

• 申請號: 202211072281.2
• 申請日: 2022-09-02
• 公開（公告）號: CN115357365A
• 公開（公告）日: 2022-11-18
• 發明（設計）人: 宋麗娟;冷英英;邢宇強;張凱恒;李瑞;杜曉慶;馮葉飛
• 申請（專利權）人: 陽光人壽保險股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 榮穎佳

本申請提供了一種數據平臺任務管理方法、裝置及系統，方法包括：響應頁面化的任務創建操作，創建與任務需求信息綁定的DAG任務流；DAG任務流為由多個目標任務節點構成的有向無環圖；響應針對DAG任務流的觸發調度操作，在測試環境中對DAG任務流進行任務調度及測試；在測試成功后，響應針對DAG任務流的發布操作，將DAG任務流發布至生產環境。本申請能夠通過頁面化的任務創建操作，按照需求開發對應的DAG任務流，并在測試環境中進行任務流的調度及測試，測試通過后一鍵發布生產環境，降低工作人員的學習成本的同時，提高任務發布效率。

技術領域

本申請涉及軟件技術領域，尤其是涉及一種方法、裝置及電子設備。

背景技術

任務調度系統是數據平臺不可缺少的功能之一。隨著公司業務不斷發展，業務需求量不斷提升，面對海量的任務管理和靈活多變的需求，目前現有的任務調度系統，是通過腳本文件配置，此方式配置繁瑣、非開發人員學習成本高、執行效率低，難以滿足現有要求，調度效率問題及如何快速響應需求變化亟待解決。

發明內容

本申請的目的在于提供一種數據平臺任務管理方法、裝置及系統，能夠通過頁面化的任務創建操作，按照需求開發對應的DAG任務流，并在測試環境中進行任務流的調度及測試，測試通過后一鍵發布生產環境，降低工作人員的學習成本的同時，提高任務發布效率。

第一方面，本申請實施例提供一種數據平臺任務管理方法，方法包括：響應頁面化的任務創建操作，創建與任務需求信息綁定的DAG任務流；DAG任務流為由多個目標任務節點構成的有向無環圖；響應針對DAG任務流的觸發調度操作，在測試環境中對DAG任務流進行任務調度及測試；在測試成功后，響應針對DAG任務流的發布操作，將DAG任務流發布至生產環境。

在本申請較佳的實施方式中，上述響應頁面化的任務創建操作，創建與任務需求信息綁定的DAG任務流的步驟，包括：響應針對需求創建頁面的需求創建操作，生成包含任務需求信息和任務流創建控件的顯示頁面；響應針對顯示頁面中任務流創建控件的觸控操作，顯示任務流繪制頁面；響應在任務流繪制頁面中的任務流繪制操作，生成與任務需求信息綁定的DAG任務流。

在本申請較佳的實施方式中，上述任務流繪制頁面中包括多個任務節點及任務流繪制框；響應在任務流繪制頁面中的任務流繪制操作，生成與任務需求信息綁定的DAG任務流的步驟，包括：響應多個目標任務節點被拖拽至任務流繪制框，并根據多個目標任務節點間的依賴關系分行的箭頭繪制操作，在任務流繪制框中生成DAG任務流。

在本申請較佳的實施方式中，上述方法還包括：響應針對目標任務節點的前置條件添加操作，為目標任務節點配置對應的前置條件；前置條件包括：指定任務流中的指定任務已完成，或者指定數據表中存在指定信息。

在本申請較佳的實施方式中，上述在測試環境中對DAG任務流進行任務調度及測試的步驟，包括：對DAG任務流進行任務解析，確定各個目標任務節點間的任務依賴關系；根據依賴關系以及廣度優先算法進行多任務并行調度執行；在DAG任務流中的所有目標任務節點均任務執行完成后，確定任務測試成功。

在本申請較佳的實施方式中，上述觸發調度操作包括：手動觸發調度操作或定時觸發調度操作。

在本申請較佳的實施方式中，上述目標任務節點對應的任務類型包括以下之一：Spark SQL任務、Spark Submit任務、Spark Shell任務、Python腳本任務和Shell腳本任務。

第二方面，本申請實施例還提供一種數據平臺任務管理裝置，裝置包括：任務創建模塊，用于響應頁面化的任務創建操作，創建與任務需求信息綁定的DAG任務流；DAG任務流為由多個目標任務節點構成的有向無環圖；任務觸發模塊，用于響應針對DAG任務流的觸發調度操作，在測試環境中對DAG任務流進行任務調度及測試；任務發布模塊，用于在測試成功后，響應針對DAG任務流的發布操作，將DAG任務流發布至生產環境。