[發明專利]一種基于DAG的單元化分布式調度系統及方法

有效

• 申請號: 202110028517.1
• 申請日: 2021-01-11
• 公開（公告）號: CN112379995B
• 公開（公告）日: 2021-04-20
• 發明（設計）人: 袁興宇
• 申請（專利權）人: 北京江融信科技有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/54;G06F9/50;G06F11/30;G06F9/455;G06F13/40
• 代理公司: 北京天盾知識產權代理有限公司 11421
• 代理人: 張彩珍

1.一種基于DAG的單元化分布式調度系統，其特征在于，包括管理平臺服務模塊、任務調度服務模塊、任務狀態管理模塊、任務執行模塊和數據存儲模塊；

所述管理平臺服務模塊用于配置任務類型和任務參數，編排單元化的分布式任務調度流程，基于DAG配置任務執行依賴和執行順序，并將配置和編排的數據存儲至所述數據存儲模塊；所述任務類型包括任務鏈任務，所述任務鏈任務是由多個任務節點以workflow的任務流程配置而成；所述任務節點用于嵌套配置一種或多種類型的任務，具體為：將配置好的一種或多種類型的任務作為任務節點添加到當前任務鏈的執行流程中，所述一種或多種類型的任務包括進程類執行任務、腳本類執行任務、服務類執行任務、分區單元任務和/或任務鏈任務；

所述任務調度服務模塊用于根據所述管理平臺服務模塊配置的數據進行任務調度，調度服務節點向所述任務執行模塊發起可執行任務的拉起命令，并監聽任務流程中所有任務的執行情況，判斷后續節點是否可執行，若為可執行節點，則進行調度執行；

所述任務狀態管理模塊用于存儲執行過程中任務狀態的狀態數據；所述任務狀態包括任務鏈中每個任務節點的執行狀態、進程分片任務的執行狀態、進程中線程的執行狀態和線程中業務步驟的執行狀態；

所述任務執行模塊用于接收所述任務調度服務模塊發送的任務拉起命令，執行節點根據所述命令拉起任務開始執行；還用于管理、監控任務在執行時的執行狀態，并將執行記錄發送至所述任務調度服務模塊和任務狀態管理模塊；其中，所述執行節點分布在不同的主機上分別執行；

所述數據存儲模塊用于存取管理消息隊列的任務輸入輸出數據、調度的配置管理數據和調度任務執行的業務數據；

其中，所述任務調度服務模塊用于實現所述單元化的分布式任務調度流程，包括：

一個單元任務至少在一個執行節點上執行；在一個單元任務中配置至少一個進程分片任務，多個所述進程分片任務在不同的執行節點上并行執行；在一個所述進程分片任務中配置至少一個線程的并行子任務，多個線程子任務在進程中并行執行；

所述任務調度服務模塊包括執行監控子模塊、任務拉起子模塊、執行重試子模塊和回調服務子模塊；

所述執行監控子模塊用于監控調度服務節點拉起的執行任務的執行情況；

所述任務拉起子模塊用于調度服務節點向所述任務執行模塊發起可執行任務的任務拉起命令；

所述執行重試子模塊用于對發生異常未執行或執行失敗的任務重新發起執行的通知操作；

所述回調服務子模塊用于提供操作回調接口。

2.根據權利要求1所述的單元化分布式調度系統，其特征在于，所述管理平臺服務模塊包括任務編排子模塊、任務管理子模塊、作業配置子模塊、告警配置子模塊、調度節點管理子模塊、參數配置子模塊、審計監控子模塊和任務監控子模塊；

所述任務編排子模塊用于編排單元化的分布式任務調度流程，基于DAG配置待執行任務的執行依賴和執行順序；

所述任務管理子模塊用于配置執行的任務類型、任務參數以及定義需要執行的任務信息；

所述作業配置子模塊用于配置任務執行時間、執行方式、執行參數以及作業關聯的執行任務信息；

所述告警配置子模塊用于配置與任務作業執行相關以及服務相關的告警閾值和告警方式；

所述調度節點管理子模塊用于監控和管理系統中的所有執行節點；

所述參數配置子模塊用于配置任務和調度計劃中的公共參數；

所述審計監控子模塊用于記錄和管理所有執行和變更操作；

所述任務監控子模塊用于統計任務的執行狀態，查看執行進程和執行明細，跟蹤執行作業的執行情況。

3.根據權利要求1所述的單元化分布式調度系統，其特征在于，所述任務執行模塊包括執行器服務子模塊、執行線程池子模塊、執行狀態管理子模塊和任務注冊子模塊；

所述執行器服務子模塊用于根據所述任務調度服務模塊發送的任務拉起命令，拉起任務并開始執行，還用于監控當前服務器上執行任務的執行情況；

所述執行線程池子模塊用于監控任務執行線程狀態并獲取任務執行狀態數據；

所述執行狀態管理子模塊用于在執行節點管理當前節點在執行時的任務狀態，監控執行時間和執行資源的使用，并將執行狀態和執行記錄發送給所述任務調度服務模塊和任務狀態管理模塊；

所述任務注冊子模塊用于將當前執行節點已部署的任務自動注冊至系統中，并通過任務配置完成任務管理。