[發明專利]一種跨域作業流調度方法及系統

有效

• 申請號: 201810457438.0
• 申請日: 2018-05-14
• 公開（公告）號: CN108694082B
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 肖華飚;朱翔淼
• 申請（專利權）人: 有時數聯科技（北京）有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06F16/27
• 代理公司: 北京工信聯合知識產權代理有限公司 11266
• 代理人: 胡秋立

1.一種跨域作業流調度方法，所述方法包括：

在多個作業流調度集群組成的協同調度網絡中選取一個作業流調度集群A接收應用提供者發送的數據處理業務需求；

所述作業流調度集群A根據所述數據處理業務需求的邏輯進行作業流的編排并分成多個數據業務處理分塊；

通過所述作業流調度集群A根據所述數據處理業務需求的邏輯進行作業流的編排并分成多個數據業務處理分塊包括：所述作業流中包括多個作業節點，每個作業節點對應一個數據業務處理分塊；所述作業節點包括所述協同調度網絡中任意集群已定義好的作業；所述作業流包括與各作業節點對應的觸發策略、作業節點間的邏輯關系和邏輯分支判斷以及輸入輸出接口；所述作業流的編排方式包括調用與數據處理業務需求相對應的作業流模板，并根據數據處理業務需求的邏輯對模板進行修正，完成作業流的編排；

將所述多個數據業務處理分塊按照作業流編排邏輯分配給所述協同調度網絡中的多個作業流調度集群進行處理；

所述多個作業流調度集群的每一個對對應分配的數據業務處理分塊進行處理，并生成數據；

所述多個作業流調度集群的每一個將其生成的數據根據作業流編排邏輯中對該分塊的輸出位置的定義寫入數據聯邦通道的輸入接口中，并通過數據聯邦根據數據輸出位置定義由數據聯邦通道進行通道鏈路選擇和數據傳輸；所述數據聯邦通道連接各個作業流調度集群；

在數據聯邦通道將各個作業流調度集群生成的數據傳輸到作業流指定的數據輸出位置后，所述指定的數據輸出位置的作業流調度集群將所述各個作業流調度集群生成的數據整合并存儲在其對應的數據庫中。

2.根據權利要求1所述的方法，其特征在于：在多個作業流調度集群組成的協同調度網絡中選取一個作業流調度集群A的方法包括：選取協同調度網絡中的多個作業流調度集群與應用者提供數據源的物理位置最近的作業流調度集群為作業流調度集群A；所述作業流調度集群調用與分配的數據業務處理分塊相對應的作業模板完成對應的作業進程，并生成數據。

3.根據權利要求1所述的方法，其特征在于：對所述作業流調度集群A的運行情況進行實時監控；對所述作業流調度集群A的操作日志以及歷史作業統計進行查詢；所述運行情況包括作業流編排結果、各作業分塊完成情況以及最終用戶訪問情況；

最終用戶通過API網關訪問所述指定的數據輸出位置的作業流調度集群的本地數據庫，調取所述數據處理業務需求完成后的對應的結果數據進行數據消費。

4.根據權利要求1所述的方法，其特征在于：所述作業流調度集群A可同時接收多個數據處理業務需求，通過使用容器技術同時對多個數據處理業務需求；所述多個數據處理業務需求的每一個在一個容器中進行處理，各容器相互隔離；

所述多個作業流調度集群采用RAFT協議，實現多集群并行調度；所述多個作業流調度集群的每一個均可向包括該作業流調度集群在內的所有作業流調度集群分配數據業務處理分塊。