[發明專利]一種分布式作業分發處理方法及系統

在審

• 申請號: 201611247877.6
• 申請日: 2016-12-29
• 公開（公告）號: CN106874109A
• 公開（公告）日: 2017-06-20
• 發明（設計）人: 黃映挺
• 申請（專利權）人: 朗新科技股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F11/30;G06F17/30;H04L29/08
• 代理公司: 北京路浩知識產權代理有限公司11002
• 代理人: 李相雨

1.一種分布式作業分發處理方法，其特征在于，包括：

生成針對特定類型作業的多個任務，其中，所述特定類型作業是已確定無需進行歸類操作的作業；

將所述任務分發至多個任務節點；

若判斷獲知反饋回的所有任務處理的結果狀態為成功，則完成對所述特定類型作業的分發。

2.根據權利要求1所述的方法，其特征在于，所述生成針對特定類型作業的多個任務，包括：

根據所述特定類型作業的總數S和每個所述任務的預設數值M，生成N個所述任務，其中N＝S/M。

3.根據權利要求1所述的方法，其特征在于，所述任務節點的個數小于等于預設最大并發執行數。

4.根據權利要求1或2或3所述的方法，其特征在于，所述方法還包括：

若判斷獲知反饋回的所述任務處理的結果狀態為失敗，且預設最大失敗重試次數X不為零，則重新執行所述任務處理，其中，所述重新執行的次數小于等于預設最大失敗重試次數X。

5.根據權利要求4所述的方法，其特征在于，所述方法還包括：

若判斷獲知反饋回的所述任務處理的結果狀態為失敗，且預設最大失敗重試次數X為零，則剔除所述任務節點。

6.一種執行如權利要求1至5任一所述方法的系統，其特征在于，所述系統包括客戶端、控制節點、任務節點和集群狀態管理器，其中：

所述客戶端，連接所述控制節點，用于向所述控制節點發送作業分發請求；

所述控制節點，連接所述任務節點和所述集群狀態管理器，用于接收所述客戶端發送的作業分發請求；

用于生成針對特定類型作業的多個任務、向所述任務節點發送所述任務，監控所述任務處理的結果狀態、接收所述集群狀態管理器發送的所述任務處理的結果狀態、判定所述任務處理是否執行完成；

所述任務節點，連接所述集群狀態管理器，用于執行任務的任務，并向所述集群狀態管理器發送所述任務處理的結果狀態；

所述集群狀態管理器，用于集群資源的協調、交互和共享，向所述控制節點發送所述任務處理的結果狀態。

7.根據權利要求6所述的系統，其特征在于，所述系統動態調整所述控制節點和/或所述任務節點的數量。

8.根據權利要求6所述的系統，其特征在于，所述集群狀態管理器為Zoo keeper。

9.根據權利要求6所述的系統，其特征在于，所述客戶端和所述控制節點之間、所述控制節點和所述任務節點之間通過通信協議HTTP Restful相連接，所用的作業格式為JSON，所述任務節點和所述集群狀態管理器采用的通信作業協議是基于Zoo keeper的內部協議。