[發明專利]分布式任務處理方法和裝置

在審

• 申請號: 201610119642.2
• 申請日: 2016-03-02
• 公開（公告）號: CN107153573A
• 公開（公告）日: 2017-09-12
• 發明（設計）人: 張良鋒
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京國昊天誠知識產權代理有限公司11315
• 代理人: 黃熊

技術領域

本申請涉及計算機應用技術領域，特別涉及分布式任務處理的方法和裝置。

背景技術

在分布式環境下，一個待處理的分布式任務通常會被拆分成多個子任務，并將拆分后得到的各個子任務分發到若干計算節點進行處理。

現有技術中，在分布式環境中進行的子任務處理方法一般通過控制節點和計算節點來實現，具體可以包括下述過程：控制節點與各個計算節點建立心跳連接，以獲取各個計算節點的健康狀態信息(例如：數據庫連接數、CPU占用率及內存使用率等)。控制節點根據獲取的各個計算節點的健康狀態信息，將任務池中預先存儲的各子任務分發到相應的計算節點進行處理。其中，任務池中的各子任務是通過將待處理的分布式任務進行拆分得到的。

可見，在現有技術中，必須通過控制節點來將任務池的各子任務分發到各個計算節點進行處理。其中，由于每個計算節點需與控制節點建立心跳連接，這就導致計算節點群的規模受限于上述控制節點的運算能力。

發明內容

本申請實施例的目的是提供一種分布式任務處理方法及裝置，用以解決現有技術存在的計算節點群的規模受限于上述控制節點的運算能力的問題。

為解決上述技術問題，本申請實施例提供的分布式任務處理方法及裝置是這樣實現的：

一種分布式任務處理方法，包括：

計算節點通過守護進程監測該計算節點的至少一個健康指標值；

計算節點根據所述健康指標值及與該健康指標值對應的預設閾值，判斷該計算節點是否具有從預先存儲有若干子任務的任務池中領取子任務的權限；其中，所述子任務是通過將待處理的分布式任務進行拆分得到的；

若該計算節點具有領取子任務的權限，計算節點從所述任務池中領取至少一個子任務；

計算節點生成與領取到的子任務對應的任務線程并利用該任務線程執行該子任務。

一種分布式任務處理裝置，包括：

獲取單元，用于通過守護進程監測該計算節點的至少一個健康指標值；

判斷單元，用于根據所述健康指標值及與該健康指標值對應的預設閾值，判斷該計算節點是否具有從預先存儲有若干子任務的任務池中領取子任務的權限；其中，所述子任務是通過將待處理的分布式任務進行拆分得到的；

領取單元，用于在計算節點具有領取子任務的權限時，從所述任務池中領取至少一個子任務；

生成單元，用于生成與領取到的子任務對應的任務線程并利用該任務線程執行該子任務。

由以上本申請實施例提供的技術方案可見，本申請實施例通過計算節點根據自身健康指標值來確定是否可以從任務池中領取子任務，在滿足領取子任務的條件時進行領取動作并隨后對領取到的子任務進行處理。與現有技術相比，本申請實施例通過計算節點主動地進行任務領取動作，無需額外設置用以與各計算節點進行心跳連接并進行任務分發的控制節點，從而避免控制節點對計算節點群的規模的限制，使得計算節點群的規模更加靈活。

附圖說明

為了更清楚地說明本申請實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請中記載的一些實施例，對于本領域普通技術人員來講， 在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。

圖1為本申請實施例中的包含若干計算節點的任務處理裝置的框架圖；

圖2為本申請實施例中的包含若干計算節點的任務處理裝置的示意圖；

圖3為本申請一實施例中提供的分布式任務處理的方法的流程圖；

圖4為本申請一實施例中提供的分布式任務處理的裝置的模塊示意圖。

具體實施方式

為了使本技術領域的人員更好地理解本申請中的技術方案，下面將結合本申請實施例中的附圖，對本申請實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例。基于本申請中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都應當屬于本申請保護的范圍。

圖1為本申請實施例中的包含若干計算節點的任務處理裝置的框架圖，如圖1所示，該任務處理系統包括一個或多個計算節點101、一個或多個任務池102，及用以連接上述計算節點101和上述任務池102的網絡103。所述計算節點101可以通過網絡103向任務池102領取待處理的子任務。