[發明專利]一種分布式任務調度系統及方法

在審

• 申請號: 201710113656.8
• 申請日: 2017-02-28
• 公開（公告）號: CN106909451A
• 公開（公告）日: 2017-06-30
• 發明（設計）人: 劉正偉;郭濤
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 北京集佳知識產權代理有限公司11227
• 代理人: 王寶筠

1.一種分布式任務調度系統，其特征在于，所述系統包括：

任務提交集群、任務調度集群以及任務執行集群；所述任務提交集群包括多個任務客戶端節點，所述任務調度集群包括多個任務調度節點，所述任務執行集群包括多個任務執行節點；

所述任務提交集群中的所述任務客戶端節點用于向所述任務調度集群提交任務；

所述任務調度集群中的所述任務調度節點用于接收所述任務，生成所述任務的任務分配信息，按照所述任務分配信息將所述任務發送給所述任務執行集群；

所述任務執行集群中的所述任務執行節點用于執行所述任務并將執行結果返回給提交任務的任務客戶端節點。

2.根據權利要求1所述的系統，其特征在于，所述任務調度節點包括主任務調度節點以及從任務調度節點，所述任務執行節點包括主任務執行節點以及從任務執行節點；

所述主任務調度節點用于從所述任務客戶端節點接收所述任務，并將所述任務分配給任意一個從任務調度節點；

所述從任務調度節點用于在接收到所述任務后生成所述任務的任務分配信息，按照所述任務分配信息將所述任務發送給所述任務執行集群；

所述主任務執行節點用于接收所述任務，并將所述任務分配給從一個或多個任務執行節點；

所述從任務執行節點用于在接收到所述任務后執行所述任務并將執行結果返回給提交任務的任務客戶端節點。

3.根據權利要求2所述的系統，其特征在于，所述系統還包括：

分布式系統的可靠協調系統zookeeper節點，所述zookeeper節點分別與所述任務提交集群、所述任務調度集群以及任務執行集群相連；

所述zookeeper節點用于保持與各個所述任務客戶端節點、各個所述任務調度節點以及各個所述任務執行節點的連接，保存各個所述任務客戶端節點、各個所述任務調度節點以及各個所述任務執行節點的連接信息；根據各個所述任務調度節點的連接信息在所述任務調度節點中確定所述主任務調度節點以及所述從任務調度節點；根據各個所述任務執行節點的連接信息在所述任務執行節點中確定所述主任務執行節點以及所述從任務執行節點。

4.根據權利要求1-3任一項所述的系統，其特征在于，所述系統還包括：

公共服務模塊，所述任務提交集群通過所述公共服務模塊與所述任務調度集群相連，所述任務調度集群通過所述公共服務模塊與所述任務執行集群相連，所述任務執行集群通過所述公共服務模塊與所述任務提交集群相連。

5.根據權利要求4所述的系統，其特征在于，所述公共服務模塊包括：

消息中間件、分布式數據庫以及分布式緩存；

所述分布式數據庫用于保存所述任務的任務分配信息、所述任務的執行日志以及所述執行結果；

所述消息中間件用于接收所述任務客戶端節點向所述任務調度集群提交的任務，將所述任務發送到所述任務調度集群；接收所述任務調度節點向所述任務執行集群發送的所述任務，將所述任務發送到所述任務調度集群；接收所述任務執行節點向所述提交任務的任務客戶端節點發送的執行結果，將所述執行結果發送到所述提交任務的任務客戶端節點；

所述分布式緩存用于當所述執行結果需要緩存時緩存所述執行結果。

6.一種分布式任務調度方法，其特征在于，所述方法應用于分布式任務調度系統，所述系統包括：任務提交集群、任務調度集群以及任務執行集群；所述任務提交集群包括多個任務客戶端節點，所述任務調度集群包括多個任務調度節點，所述任務執行集群包括多個任務執行節點；所述方法包括：

所述任務提交集群中的所述任務客戶端節點向所述任務調度集群提交任務；

所述任務調度集群中的所述任務調度節點接收所述任務，生成所述任務的任務分配信息，按照所述任務分配信息將所述任務發送給所述任務執行集群；

所述任務執行集群中的所述任務執行節點執行所述任務并將執行結果返回給提交任務的任務客戶端節點。