[發明專利]一種將DAG圖數據轉換為工作流引擎調度文件的方法

在審

• 申請號: 202010214907.3
• 申請日: 2020-03-24
• 公開（公告）號: CN111597143A
• 公開（公告）日: 2020-08-28
• 發明（設計）人: 鄭煥波;華潔;劉釗岐;李少利;趙政康;張惠根
• 申請（專利權）人: 中電海康集團有限公司
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06Q10/10
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 楊天嬌

本發明公開了一種將DAG圖數據轉換為工作流引擎調度文件的方法，包括根據DAG圖數據的文件類型解析獲取DAG圖數據中的節點及其屬性信息生成節點類實例，獲取節點之間連接關系；根據工作流引擎定義的格式將所獲取的節點類實例轉換為執行引擎節點類實例，并根據節點連接關系生成執行引擎節點的輸入輸出信息和前后依賴節點信息；根據執行引擎節點的前后依賴節點信息，對執行引擎節點類實例進行有序編排；將有序編排的執行引擎節點類實例以及前后依賴節點信息按照調度文件的格式持久化至文件中，輸出工作流引擎調度文件。本發明實現將各種格式的DAG圖數據轉換為多類型工作流引擎調度文件，降低DAG圖數據轉換難度，提高工作流引擎切換效率。

技術領域

本申請屬于大數據分析技術領域，具體涉及一種將DAG圖數據轉換為工作流引擎調度文件的方法。

背景技術

隨著信息技術的發展，數據挖掘、機器學習、人工智能、統計分析等技術在數據分析領域獲得廣泛應用。與此同時為應對海量數據處理任務，出現了多種分布式計算框架，如hadoop yarn、mesos、kubernetes等。

大數據分析處理任務大都包含多個數據處理步驟，每個步驟的數據處理算法需提交計算框架運行，其中有些步驟可以并發執行，有些步驟需要有依賴關系。為將這種復雜的任務調度到分布式技術框架運行，出現了很多的工作流調度引擎。但這些工作流調度引擎都通過自定義調度文件的形式編排任務運行流程。調度文件一般復雜難寫，而且調度文件千差萬別，要切換調度引擎需要修改大量內容。

與此同時，很多機器學習平臺出現了通過拖拽即可構建機器學習模型的方法，大大簡化了建模過程。這些模型大都基于DAG圖。要將DAG圖模型提交分布式技術框架運行，需要將DAG圖轉換成滿足工作流引擎調度文件規定格式，而目前工作流引擎形式各異，所對應的調度文件也是格式各異，這給DAG圖的轉換帶來的極大的難度。

發明內容

本申請的目的在于提供一種將DAG圖數據轉換為工作流引擎調度文件的方法，實現將各種格式的DAG圖數據轉換為多類型的工作流引擎調度文件，降低DAG圖數據的轉換難度，提高工作流引擎切換效率。

為實現上述目的，本申請所采取的技術方案為：

一種將DAG圖數據轉換為工作流引擎調度文件的方法，所述將DAG圖數據轉換為工作流引擎調度文件的方法，包括：

步驟S1、獲取待轉換的DAG圖數據，識別DAG圖數據的文件類型；

步驟S2、根據所述文件類型解析DAG圖數據，獲取DAG圖數據中的節點及其屬性信息生成節點類實例，同時獲取節點之間的連線以及連線方向的類實例；

步驟S3、根據工作流引擎定義執行引擎節點類信息的格式，根據定義的格式將所獲取的節點類實例轉換為執行引擎節點類實例，并根據節點之間的連線以及連線方向的類實例生成執行引擎節點的輸入輸出信息和前后依賴節點信息；

步驟S4、根據執行引擎節點的前后依賴節點信息，對執行引擎節點類實例進行有序編排；

步驟S5、根據工作流引擎所需調度文件的格式以及文件類型，將有序編排的執行引擎節點類實例以及前后依賴節點信息按照調度文件的格式持久化至文件中，輸出與工作流引擎所需的文件類型對應的工作流引擎調度文件。

作為優選，所述工作流引擎包括oozie工作流引擎、azkaban工作流引擎，所述oozie工作流引擎對應的調度文件為oozie workflow.xml，所述azkaban工作流引擎的調度文件為azkaban flow。

作為優選，所述DAG圖數據轉換為oozie工作流引擎的調度文件oozieworkflow.xml的過程包括：

a、獲取待轉換的DAG圖數據；