[發明專利]作業調度方法及裝置

在審

• 申請號: 201610021343.5
• 申請日: 2016-01-13
• 公開（公告）號: CN106970833A
• 公開（公告）日: 2017-07-21
• 發明（設計）人: 才華;逯斌
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京國昊天誠知識產權代理有限公司11315
• 代理人: 許志勇

技術領域

本申請屬于數據處理技術領域，具體地說，涉及一種作業調度方法、裝置及系統。

背景技術

在傳統的分布式系統中，分布式作業包括有限數量的任務(task)，每一任務又劃分為多個任務切片(instance)，作業運行時，由各個任務的任務切片進行數據處理。

任務切片被調度運行在分布式系統的計算節點中，而由于計算節點軟硬件配置各不相同，且運行的作業也各不相同，外界干擾因素頗多，導致不同機器運行環境大不相同，且由于作業本身的原因或者機器上運行的大量作業互相作用的結果或者機器本身問題，往往會導致某些計算節點磁盤讀寫慢或系統負載高等問題，使得計算節點無法正常運行。如果這個時候再調度新的作業到這些計算節點上，不僅影響作業的運行進度，也會加重系統的負載，進而影響其他作業的運行。

因此，急需提供一種有效的作業調度方式，以規避掉無法正常運行的計算節點，提高作業運行效率。

發明內容

有鑒于此，本申請所要解決的技術問題是提供了一種作業調度方法及裝置，有效實現了作業調度，提高了作業運行效率。

為了解決上述技術問題，本申請公開了一種作業調度方法，應用于分布式系統中，所述方法包括：

第一計算節點計算當前運行的任務切片的數據處理速率；

根據所述數據處理速率，確定所述任務切片滿足調度條件時，生成調度指令發送至中心節點；所述調度指令用于觸發所述中心節點中斷所述任務切片的運行，并請求資源管理器重新調度所述任務切片在第二計算節點中運行；其中，所述資源管理器部署在所述分布式系統中的任一個計算節點或中心節點中。

優選地，所述根據所述數據處理速率，確定所述任務切片滿足調度條件時，生成調度指令發送至中心節點包括：

根據所述數據處理速率，計算所述任務切片中未處理數據的處理時間；

在所述處理時間大于預設時間時，生成調度指令發送至中心節點。

優選地，所述預設時間為重新調度所述任務切片在第二計算節點運行的重新調度時間；

所述在所述處理時間大于預設時間時，生成調度指令發送至中心節點包括：

在所述處理時間大于所述重新調度時間時，生成調度指令發送至中心節點。

優選地，所述第一計算節點計算當前運行的任務切片的數據處理速率包括：

第一計算節點記錄當前運行的任務切片在運行過程中，讀數據的數據量和讀數據時間，以及寫數據的數據量和寫數據時間；

根據所述讀數據的數據量和讀數據時間，以及寫數據的數據量和寫數據時間，計算所述任務切片的數據處理速率。

優選地，所述根據所述數據處理速率，計算所述任務切片中未處理數據的處理時間包括：

根據所述數據處理速率，計算所述任務切片中未處理數據的讀數據時間以及寫數據時間；

計算所述任務切片中未處理數據的讀數據時間以及寫數據時間的和值， 作為所述當前運行的任務切片中未處理數據的處理時間。

優選地，所述根據所述讀數據的數據量和讀數據時間，以及寫數據的數據量和寫數據時間，計算所述任務切片的數據處理速率包括：

根據所述讀數據的數據量和讀數據時間，以及寫數據的數據量和寫數據時間，按照如下計算公式計算所述任務切片的數據處理速率；

DataProcessSpeed＝(dataSize1+dataSize2)/(time1+time2)；

其中，DataProcessSpeed表示所述任務切片的數據處理速率；dataSize1表示讀數據的數據量，time1表示讀數據時間；dataSize2表示寫數據的數據量，time2表示寫數據時間。

一種作業調度方法，應用于分布式系統中，所述方法包括：

中心節點接收第一計算節點的調度指令；所述調度指令為所述第一計算節點計算當前運行的任務切片的數據處理速率；根據所述數據處理速率，確定所述任務切片滿足調度條件時生成并發送的；

中斷所述任務切片在所述第一計算節點中運行，

請求資源管理器重新調度所述任務切片在第二計算節點中運行。

一種作業調度方法，應用于分布式系統中，所述方法包括：

接收中心節點的調度請求；所述調度請求為所述中心節點接收第一計算節點的調度指令，中斷所述任務切片在所述第一計算節點中運行之后生成的，所述調度指令為所述第一計算節點計算當前運行的任務切片的數據處理速率；根據所述數據處理速率，確定所述任務切片滿足調度條件時生成并發送的；