[發明專利]基于批次調度中心的計劃任務執行方法以及系統

有效

• 申請號: 202010359516.0
• 申請日: 2020-04-30
• 公開（公告）號: CN111522630B
• 公開（公告）日: 2021-04-06
• 發明（設計）人: 羅孟波;翁國海
• 申請（專利權）人: 北京江融信科技有限公司
• 主分類號: G06F9/455
• 分類號: G06F9/455;G06F9/48
• 代理公司: 北京天盾知識產權代理有限公司 11421
• 代理人: 張彩珍

本發明公開了一種基于批次調度中心的計劃任務執行方法及系統，計劃任務執行方法包括：步驟S1：分析各批次任務之間的關系，將各批次任務依序連接，生成一沿固定方向的任務執行流程圖；步驟S2：根據任務執行流程圖的各個節點順序依次執行完成任務執行流程圖的全部任務；其中，在任務執行過程中，在所述任務執行流程圖中以不同色彩實時標識各個批次任務的執行狀態，并允許用戶對各個批次任務進行操作以監控任務執行進程；每個批次任務對應至少一個任務分區，每個任務分區通過調用DFS應用服務拉起一個相應的pod容器，各個pod容器的參數由批次調度中心統一配置以使得各個pod容器具有各自獨立的資源空間。

技術領域

本發明涉及一種基于批次調度中心的計劃任務執行方法以及系統。

背景技術

現有批次調度中心應用服務器拉起批次業務應用服務器進程時存在以下缺陷：

1、批次執行沒有完整的一個執行計劃流程，沒有統一模塊管理各任務之間的關系和執行順序，每執行一個批次都需要人為確定是否能夠執行。

2、由DFS（Data Flow Server）調用本地jar包拉起批次任務進程而不是拉起容器pod，進程直接啟動在虛擬機或者物理機上，不足以友好的監控到進程是否啟動成功，運行是否出錯，進程的啟動參數，啟動過程等，批次應用進程啟動時資源不隔離， 批次應相互之間會搶占資源，以至于造成資源分配不均勻的情況。

3、執行計劃中任務鏈時不能采用預加載方式，后續任務執行拉起容器pod，必須等前面任務執行成功后才操作，這樣的缺點是當前面的任務執行成功，后續的任務并沒有馬上執行，而是要耗費大量的時間拉起容器pod和啟動批次應用程序。

4、DFS需單獨部署應用服務器，增加資源成本和維護成本；批次調度中心執行任務時，必須通過調度中心請求訪問DFS應用服務器， 再由DFS拉起批次執行任務進程，增加調度中心訪問DFS應用服務器之間的網路請求。

因此亟需開發本發一種克服上述缺陷的基于批次調度中心執行計劃的配置與調度方法以及系統。

發明內容

本發明所要解決的技術問題在于提供一種基于批次調度中心的計劃任務執行方法，其中，包括：

步驟S1：分析各批次任務之間的關系，將各批次任務依序連接，生成一沿固定方向的任務執行流程圖，其中每個任務節點關聯配置一個批次執行任務，并向用戶展示所述任務執行流程圖；

步驟S2：根據任務執行流程圖的各個節點順序依次執行完成任務執行流程圖的全部任務；

其中，在任務執行過程中，在所述任務執行流程圖中以不同色彩實時標識各個批次任務的執行狀態，并允許用戶對各個批次任務進行操作以監控任務執行進程；以及

每個批次任務對應至少一個任務分區，每個任務分區通過調用DFS應用服務拉起一個相應的pod容器，各個pod容器的參數由批次調度中心統一配置以使得各個pod容器具有各自獨立的資源空間。

上述的計劃任務執行方法，其中，所述用戶對各個批次任務進行操作以監控任務執行進程包括以下操作中的一個或多個：查看執行記錄、暫停執行、取消暫停、異常重跑。

上述的計劃任務執行方法，其中，所述步驟S2中包括：

步驟S21：啟動執行計劃；

步驟S22：以開始節點找到其指向的所有任務節點并依次執行各個任務節點關聯的任務；

步驟S23：當一個任務節點關聯的任務執行成功后，找到該任務節點指向的所有下一級任務節點并依次執行下一級任務節點所關聯的任務；

步驟S24：以此類推，直到整個任務執行流程圖中的所有任務全部執行成功。