[發明專利]分布式任務處理方法和裝置

在審

• 申請號: 201610119642.2
• 申請日: 2016-03-02
• 公開（公告）號: CN107153573A
• 公開（公告）日: 2017-09-12
• 發明（設計）人: 張良鋒
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京國昊天誠知識產權代理有限公司11315
• 代理人: 黃熊

1.一種分布式任務處理方法，其特征在于，包括：

計算節點通過守護進程監測該計算節點的至少一個健康指標值；

計算節點根據所述健康指標值及與該健康指標值對應的預設閾值，判斷該計算節點是否具有從預先存儲有若干子任務的任務池中領取子任務的權限；其中，所述子任務是通過將待處理的分布式任務進行拆分得到的；

若該計算節點具有領取子任務的權限，計算節點從所述任務池中領取至少一個子任務；

計算節點生成與領取到的子任務對應的任務線程并利用該任務線程執行該子任務。

2.如權利要求1所述的方法，其特征在于，計算節點根據所述健康指標值及與該健康指標值對應的預設閾值，判斷該計算節點是否具有從預先存儲有若干子任務的任務池中領取子任務的權限，具體包括：

若所述健康指標值用以表征所述計算節點的資源耗用情況，計算節點判斷所述健康指標值是否小于與該健康指標值對應的預設閾值，若是，判定該計算節點具有領取子任務的權限；

或，

若所述健康指標值用以表征所述計算節點的可用資源量，計算節點判斷所述健康指標值是否大于與該健康指標值對應的預設閾值，若是，判定該計算節點具有領取子任務的權限。

3.如權利要求1所述的方法，其特征在于，所述計算節點根據所述健康指標值及與該健康指標值對應的預設閾值，判斷該計算節點是否具有從預先存儲有若干子任務的任務池中領取子任務的權限之前，所述方法還包括：

計算節點根據任務池中存儲的子任務需消耗計算節點的資源量，確定與健康指標值對應的預設閾值。

4.如權利要求1所述的方法，其特征在于，計算節點從所述任務池中領 取至少一個子任務，具體包括：

計算節點從所述任務池中領取至少一個子任務的狀態信息中不包含子任務鎖信息的子任務；所述子任務的狀態信息用于標識子任務的狀態；

所述計算節點從所述任務池中領取至少一個子任務之后，所述方法還包括：

計算節點通過守護進程生成與領取到的子任務對應的子任務鎖信息；其中，所述子任務鎖信息包含領取該子任務的計算節點的標識ID及鎖定該子任務的時間戳；

計算節點利用所述子任務鎖信息對領取到的子任務的狀態信息進行更新。

5.如權利要求4所述的方法，其特征在于，所述方法還包括：

計算節點判斷領取到的子任務是否在所述子任務鎖信息中的鎖定該子任務的時間戳之后的預設更新時長內執行完畢；

若否，計算節點判斷該子任務是否在執行中；

若該子任務在執行中，計算節點將領取到的子任務的狀態信息中包含的鎖定該子任務的時間戳更新為當前時間戳。

6.如權利要求5所述的方法，其特征在于，計算節點判斷該子任務是否在執行中之后，所述方法還包括：

若該子任務未在執行中，將該子任務的狀態信息中的子任務鎖信息進行清空，并將該子任務的當前任務狀態置于可領取。

7.如權利要求1所述的方法，其特征在于，所述方法還包括：

計算節點在領取到的子任務執行完畢后，將與該子任務對應的狀態信息中的當前任務狀態更新為成功；

計算節點逐一檢查所述任務池中包含的每個子任務對應的狀態信息中的當前任務狀態是否為成功；

若是，計算節點確定所述待處理的分布式任務執行完畢。

8.一種分布式任務處理裝置，其特征在于，包括：

獲取單元，用于通過守護進程監測該計算節點的至少一個健康指標值；

判斷單元，用于根據所述健康指標值及與該健康指標值對應的預設閾值，判斷該計算節點是否具有從預先存儲有若干子任務的任務池中領取子任務的權限；其中，所述子任務是通過將待處理的分布式任務進行拆分得到的；

領取單元，用于在計算節點具有領取子任務的權限時，從所述任務池中領取至少一個子任務；

生成單元，用于生成與領取到的子任務對應的任務線程并利用該任務線程執行該子任務。

9.如權利要求8所述的裝置，其特征在于，所述裝置還包括：

子任務鎖生成單元，用于通過守護進程生成與領取到的子任務對應的子任務鎖信息；其中，所述子任務鎖信息包含領取該子任務的計算節點的標識ID及鎖定該子任務的時間戳；

子任務狀態更新單元，用于利用所述子任務鎖信息對領取到的子任務的狀態信息進行更新。