[發明專利]一種用于數據集成的輕量級分布式調度方法及系統

有效

• 申請號: 202110220104.3
• 申請日: 2021-02-27
• 公開（公告）號: CN112764912B
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 武應彥;張秀娟;朱耀璽
• 申請（專利權）人: 中電萬維信息技術有限責任公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/54
• 代理公司: 蘭州嘉諾知識產權代理事務所(普通合伙) 62202
• 代理人: 郭海

1.一種用于數據集成的輕量級分布式調度方法，其特征在于：包括調度系統，調度系統包括Manager端和Worker端，所述的Manager端任務的管理、調度、協調、補救和任務數據持久化，所述的Worker端負責任務的具體處理執行；

還包括如下步驟：S1.Manager監聽任務信息觸發屬性數據中下一次觸發時間，如果在預調度的緩沖時間區間內，生成任務實例信息推入Manager的時間輪異步隊列調度線程池，同時更新任務信息觸發屬性數據中的下一次觸發時間；

S2.Manager時間輪異步隊列調度線程池中時間輪會在自轉時檢查超時項任務，有超時項任務時，將任務推入Manager時間輪異步隊列調度線程池的執行線程池中，線程池進行異步處理，選擇執行任務的WorkGroup和具體的任務執行Worker，通過RPC將任務下發到任務執行的Worker；

S3.Worker在接收到下發任務時，將任務推入Worker時間輪異步隊列調度線程池;Worker時間輪異步隊列調度線程池中時間輪會在自轉時檢查超時項任務,有超時項目任務時，將任務推入Worker時間輪異步隊列調度線程池的執行線程池中,執行線程池通過任務處理器工廠異步調用定義好的任務處理器，任務處理器根據任務實例配置進行任務處理，在處理開始、運行中和處理完時將任務處理狀態和結果上報Manager；

S4.Manager接收到Worker的上報信息后轉接入Event Bus,由Event Bus進行異步處理，Event Bus根據上報信息不同分別進行上報信息和狀態存儲、根據流程引擎觸發后續任務、檢查流程任務時是否結束、失敗任務進行故障轉移或重試、失敗任務告警操作；

S5.Manager的異常任務監聽者會定時對失敗、異常中斷的異常任務進行故障轉移或重試處理，對因服務器、網絡物理原因引擎的異常任務實例進行補償處理。

2.根據權利要求1所述的一種用于數據集成的輕量級分布式調度方法，其特征在于：基于注冊發現機制，Manager和Worker均自主組成服務集群，Manager根據worker節點資源和調度策略將任務下發到Worker節點執行。

3.根據權利要求1所述的一種用于數據集成的輕量級分布式調度方法，其特征在于：Manager端引入預調度設計，將任務提前一定時間調度下發到Worker進行自調度，將部分調度壓力轉移到Worker端。

4.根據權利要求3所述的一種用于數據集成的輕量級分布式調度方法，其特征在于：在Manager和Worker均引入時間輪算法處理任務調度和任務邏輯處理。

5.根據權利要求3所述的一種用于數據集成的輕量級分布式調度方法，其特征在于：Worker任務處理的反饋信息進行批量合并上報，Manager接收反饋信息時轉入EventBus，由Event Bus進行異步處理。

6.根據權利要求1所述的一種用于數據集成的輕量級分布式調度方法，其特征在于：Manager端設計分布式鎖來協調調度。

7.根據權利要求1所述的一種用于數據集成的輕量級分布式調度方法，其特征在于：基于DAG理論還設計了流程任務調度處理引擎。