[發明專利]面向大數據處理的分布式調度系統、方法及存儲介質

在審

• 申請號: 202011069582.0
• 申請日: 2020-09-30
• 公開（公告）號: CN112162841A
• 公開（公告）日: 2021-01-01
• 發明（設計）人: 黃立;蔡春茂;段朋
• 申請（專利權）人: 重慶長安汽車股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06F9/54;G06F16/2455;G06F16/27;G06F16/28
• 代理公司: 重慶華科專利事務所 50123
• 代理人: 譚小琴

1.一種面向大數據處理的分布式調度系統，其特征在于，包括：

調度中心模塊，用于負責工作流的依賴配置和作業開發，通過API接口將配置完成的工作流持久化到關系型數據庫的待執行工作流表中；

領導者模塊，作為集群中的任務流切分和分配節點，根據依賴關系切分調度中心配置的工作流，將切分出來的具體任務節點發送給追隨者節點；

追隨者模塊，又稱執行器，用來執行由領導者模塊分配的具體計算任務，提交任務結果，保存任務執行日志；

協調者模塊，用于定時從數據庫中取出需要執行的任務，并根據當前所有領導者模塊的負載情況，采用Round-Robin算法進行領導者模塊的負載均衡；

任務隊列模塊，為一個消息隊列，包含工作流topic、任務topic和任務結果topic，用于實現工作流之間的任務依賴；

元數據模塊，包括兩種數據庫，分別為關系型數據庫和分布式內存數據庫，所述關系型數據庫用于持久化存儲工作流的執行記錄；所述分布式內存數據庫用于把工作流相關元數據從關系型數據庫中取出，加載到內存中。

2.一種面向大數據處理的分布式調度方法，其特征在于，采用如權利要求1所述的面向大數據處理的分布式調度系統，其方法包括以下步驟：

接收對工作流的依賴配置和作業開發，通過API接口將配置完成的工作流持久化到關系型數據庫的待執行工作流表中；

根據依賴關系切分調度中心配置的工作流，將切分出來的具體任務節點發送給追隨者節點；

用來執行由領導者模塊分配的具體計算任務，提交任務結果，保存任務執行日志；

用于定時從數據庫中取出需要執行的任務，并根據當前所有領導者模塊的負載情況，采用Round-Robin算法進行領導者模塊的負載均衡。

3.根據權利要求2所述的面向大數據處理的分布式調度方法，其特征在于：協調者服務定時掃描關系型數據庫中的待執行工作流表獲取待執行命令，并向ZooKeeper定時請求Leader集群的負載信息，采用Round-Robin算法根據當前每臺Leader機器的CPU和內存余量將工作流分配給對應的Leader；最終，將打上Leader標簽的工作流發送給消息隊列中的process_instance主題，等待Leader消費該topic進行工作流執行。

4.根據權利要求3所述的面向大數據處理的分布式調度方法，其特征在于：Leader消費消息隊列中的process_instance主題，根據消息中的Leader_host_name字段判斷是否需要執行工作流；如果需要執行工作流，則按照工作流的依賴關系將工作流切分成若干個計算任務，并估算每個計算任務需要的計算資源；從ZooKeeper集群中獲取Follower集群每臺機器的負載信息，采用Round-Robin算法進行執行器獲取任務的負載均衡；將切分之后獨立的計算任務加上對應的執行器Follower_host_name信息，并發送到消息隊列中的task_instance主題；在掛起工作流執行線程的過程中，Leader會消費Follower通過消息隊列返回的task_instance_result主題中的數據，對工作流的執行結果進行更新；待整個工作流的執行狀態都變為最終狀態的情況下，將工作流執行結果狀態持久化到關系型數據庫中。

5.根據權利要求4所述的面向大數據處理的分布式調度方法，其特征在于：Follower消費消息隊列中的task_instance主題的數據，根據Follower_host_name匹配對應的執行器進行執行，任務執行完成后，將任務的執行結果寫回消息隊列中的task_instance_result主題中，等待Leader消費任務執行結果，在Leader將執行完成的任務結果寫回關系型數據庫后，整個任務流執行完成。