[發明專利]集群任務協調方法、系統和裝置

在審

• 申請號: 201610286549.0
• 申請日: 2016-05-03
• 公開（公告）號: CN107341051A
• 公開（公告）日: 2017-11-10
• 發明（設計）人: 董旭
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司11204
• 代理人: 王達佐,馬曉亞

1.一種集群任務協調方法，其特征在于，所述方法包括：

包含多個節點的集群啟動時，zookeeper服務器從所述集群的各所述節點中確定一個主節點和多個從節點；

各所述節點向所述zookeeper服務器注冊該節點待執行任務的任務信息，且所述主節點從所述zookeeper服務器獲取各所述任務的任務信息，其中，所述任務信息包括該節點待執行任務的觸發條件；

當所述主節點根據所述任務信息確定第一任務被觸發時，所述主節點從各所述從節點中確定用于執行所述第一任務的至少一個第一從節點，其中，所述第一任務為在所述zookeeper服務器注冊的任意一個任務；

所述主節點向所述第一從節點分配所述第一任務。

2.根據權利要求1所述的方法，其特征在于，所述任務信息包括任務類型信息，其中，所述任務類型包括獨占任務和并行任務；

所述主節點從各所述從節點中確定用于執行所述第一任務的至少一個第一從節點，包括：

若所述第一任務為獨占任務，則所述主節點從各所述從節點中確定用于執行所述第一任務的一個第一從節點；

若所述第一任務為并行任務，則所述第一任務包含多個子任務，所述主節點從各所述從節點中確定用于執行各所述子任務的多個第一從節點。

3.根據權利要求2所述的方法，其特征在于，所述方法還包括：

當所述主節點根據所述任務信息確定第一任務被觸發時，所述主節點生成所述第一任務的會話，其中，所述會話用于監控所述第一任務的處理進程。

4.根據權利要求3所述的方法，其特征在于，所述任務信息還包 括該節點待執行任務耗時最大閾值；

所述方法還包括：

基于所述第一任務的會話，所述主節點獲取所述第一任務的耗時長度；

當所述第一任務的耗時長度大于該第一任務耗時最大閾值時，所述會話標記所述第一任務超時。

5.根據權利要求4所述的方法，其特征在于，所述方法還包括：

當所述第一任務超時或失敗時，所述主節點確定用于執行該第一任務的至少一個第二從節點；以及

所述主節點向所述第二從節點分配所述第一任務。

6.一種集群任務協調系統，其特征在于，所述系統包括：

zookeeper服務器，用于從所述集群的各節點中確定一個主節點和多個從節點，存儲各所述節點待執行任務的任務信息，其中，所述任務信息包括該節點待執行任務的觸發條件；

所述主節點，用于從所述zookeeper服務器獲取各所述任務的任務信息，以及當確定任意一任務被觸發時，將該任務分配到對應的至少一個從節點；

所述從節點，用于執行所述主節點分配的任務。

7.根據權利要求6所述的系統，其特征在于，所述主節點還用于生成所述任務的會話，根據所述會話確定處理超時或失敗的任務，并為所述超時或失敗的任務重新分配對應的從節點。

8.一種集群任務協調裝置，其特征在于，所述裝置包括：

主從節點確定模塊，配置用于包含多個節點的集群啟動時，zookeeper服務器從所述集群的各所述節點中確定一個主節點和多個從節點；

任務信息注冊模塊，配置用于各所述節點向所述zookeeper服務 器注冊該節點待執行任務的任務信息，且所述主節點從所述zookeeper服務器獲取各所述任務的任務信息，其中，所述任務信息包括該節點待執行任務的觸發條件；

第一從節點確定模塊，配置用于當所述主節點根據所述任務信息確定第一任務被觸發時，所述主節點從各所述從節點中確定用于執行所述第一任務的至少一個第一從節點，其中，所述第一任務為在所述zookeeper服務器注冊的任意一個任務；

第一任務分配模塊，配置用于所述主節點向所述第一從節點分配所述第一任務。

9.根據權利要求8所述的裝置，其特征在于，所述任務信息包括任務類型信息，其中，所述任務類型包括獨占任務和并行任務；

所述第一從節點確定模塊配置具體用于：

若所述第一任務為獨占任務，則所述主節點從各所述從節點中確定用于執行所述第一任務的一個第一從節點；

若所述第一任務為并行任務，則所述第一任務包含多個子任務，所述主節點從各所述從節點中確定用于執行各所述子任務的多個第一從節點。