[發明專利]一種Oozie工作流程中多前驅多后繼節點的處理方法

在審

• 申請號: 201910940924.2
• 申請日: 2019-09-30
• 公開（公告）號: CN110647402A
• 公開（公告）日: 2020-01-03
• 發明（設計）人: 張旭;趙志宏;周慶勇;王建華
• 申請（專利權）人: 浪潮軟件股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 37100 濟南信達專利事務所有限公司
• 代理人: 郗艷榮

本發明特別涉及一種Oozie工作流程中多前驅多后繼節點的處理方法。該Oozie工作流程中多前驅多后繼節點的處理方法，在各主任務節點之后分別設置一個多后繼任務處理節點，各主任務節點的分任務節點均設置在多后繼任務處理節點后方；在結束節點之前設置多前驅任務處理節點，需合并的各分任務節點均連接到同一個多前驅任務處理節點。該Oozie工作流程中多前驅多后繼節點的處理方法，不僅能夠保證多前驅任務節點和多后繼任務節點順利執行完成，還能夠兼容Oozie原有功能，保證原有的Oozie工作流程正常執行，解決了Oozie組建的工作流程中多前驅任務節點和多后繼任務節點將無法順利執行的問題。

技術領域

本發明涉及大數據數據處理技術領域，特別涉及一種Oozie工作流程中多前驅多后繼節點的處理方法。

背景技術

Oozie是基于工作流引擎的服務組件，是專門為通過流程編排方式執行HadoopMap/Reduce任務或者Pig作業而設計的。Oozie通過將眾多的可執行任務(Map/Reduce、Pig等)以DAG方式組建為工作流程以實現任務的流程執行。

Oozie的工作流程是通過hPDL語言(一種類似于JBOSS JBPM的XML流程定義語言)定義。當Oozie執行任務時，會將任務提交到遠端系統(如Hadoop集群等)進行執行；當任務執行完畢之后，通過遠端系統的回調(callback)獲取任務執行的情況；然后，Oozie將繼續執行下一個流程任務。

在Oozie的工作流程中有兩類節點：一個是控制流程的控制節點，一個是執行任務的動作節點。

其中，控制節點定義工作流程的開始、結束，并可以提供分支判斷、Fork/Join等功能。

動作節點會觸發計算/處理任務執行，Oozie原生提供眾多的可執行任務類型，除了上面提及的Map/Reduce、Pig，還包括SSH、HTTP、Spark、Hive2等，同時Oozie提供標準的可擴展接口，以支持其他任務類型的增加。

盡管Oozie為大數據進行流程處理提供了便利，但當前Oozie提供的DAG(DirectedAcyclic Graph，有向無環圖)的設計策略在一些場景下并不適用。

在Oozie的控制節點中，Fork/Join節點是廣泛被使用的、可用于任務并行執行的一對控制節點。Oozie在設計Fork/join節點時做了一些限制，比如Fork/join必須成對出現，這不僅用于提交的workflow.xml的驗證中，更主要是在任務執行過程的驗證。Fork/join不能交叉使用，因此它能提供的場景相對是比較有限的。

當Fork/join節點存在多前驅、多后繼節點任務時，其中一個前驅任務節點或后繼任務節點執行完畢(success或者killed)，都將會觸發Fork/join節點，從而到達結束節點(end)；那么其他的未執行的前驅節點或后繼節點)將都被殺死(killed)。

為了解決任務節點多前驅、多后繼的問題，以實現Oozie的DAG流程的自由構建，本發明提出了一種Oozie工作流程中多前驅多后繼節點的處理方法。

發明內容

本發明為了彌補現有技術的缺陷，提供了一種簡單高效的Oozie工作流程中多前驅多后繼節點的處理方法。

本發明是通過如下技術方案實現的：

一種Oozie工作流程中多前驅多后繼節點的處理方法，其特征在于：包括以下步驟：

第一步，在各主任務節點之后分別設置一個多后繼任務處理節點，各主任務節點的分任務節點均設置在多后繼任務處理節點后方；在結束節點之前設置多前驅任務處理節點，需合并的各分任務節點均連接到同一個多前驅任務處理節點；