[發(fā)明專利]多節(jié)點分布式系統(tǒng)中的任務(wù)調(diào)度裝置和任務(wù)調(diào)度方法

無效

• 申請?zhí)枺?/td>: 201110167176.2
• 申請日: 2011-06-16
• 公開（公告）號: CN102831012A
• 公開（公告）日: 2012-12-19
• 發(fā)明（設(shè)計）人: 張玄
• 申請（專利權(quán)）人: 日立(中國)研究開發(fā)有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F15/16
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 吳秋明

1.一種多節(jié)點分布式系統(tǒng)中的任務(wù)調(diào)度裝置，包括：

新任務(wù)池，用于存儲新任務(wù)，所述新任務(wù)至少包括添加了依賴任務(wù)標(biāo)記的新任務(wù)；

任務(wù)過濾器，用于從新任務(wù)池所存儲的新任務(wù)中過濾出標(biāo)記為空的任務(wù)；

過濾任務(wù)池，用于存儲任務(wù)過濾器所過濾出的標(biāo)記為空的任務(wù)；

任務(wù)分發(fā)器，用于針對過濾任務(wù)池所存儲的每個任務(wù)，根據(jù)任務(wù)完成時間預(yù)測模型，來預(yù)測在處理節(jié)點集合中的每個處理節(jié)點上執(zhí)行該任務(wù)所需的完成時間，并將該任務(wù)分配給預(yù)測出的完成時間最短的處理節(jié)點。

2.根據(jù)權(quán)利要求1所述的任務(wù)調(diào)度裝置，還包括：

任務(wù)標(biāo)記器，當(dāng)新任務(wù)被提交到所述多節(jié)點分布式系統(tǒng)時，通過查詢?nèi)蝿?wù)關(guān)聯(lián)矩陣，找出該新任務(wù)的依賴任務(wù)，并為該新任務(wù)添加相應(yīng)的依賴任務(wù)標(biāo)記，并將添加了依賴任務(wù)標(biāo)記的新任務(wù)放置到所述新任務(wù)池。

3.根據(jù)權(quán)利要求1所述的任務(wù)調(diào)度裝置，其中，

在處理節(jié)點結(jié)束一個任務(wù)的執(zhí)行之后，所述任務(wù)過濾器根據(jù)該處理節(jié)點的任務(wù)執(zhí)行監(jiān)控器發(fā)送來的關(guān)于該任務(wù)執(zhí)行結(jié)束的信息，從依賴于該已執(zhí)行任務(wù)的任務(wù)所具有的依賴任務(wù)標(biāo)記中去除該已執(zhí)行任務(wù)的標(biāo)記。

4.根據(jù)權(quán)利要求1所述的任務(wù)調(diào)度裝置，其中，

所述任務(wù)完成時間預(yù)測模型至少采用以下參數(shù)中的任一項：任務(wù)規(guī)模、處理節(jié)點硬件水平和處理節(jié)點負(fù)載。

5.根據(jù)權(quán)利要求4所述的任務(wù)調(diào)度裝置，還包括：

用于存儲處理節(jié)點執(zhí)行的各任務(wù)的任務(wù)規(guī)模的任務(wù)規(guī)模表；

用于存儲各處理節(jié)點的硬件水平的處理節(jié)點硬件水平表；以及

用于存儲各處理節(jié)點上的負(fù)載的處理節(jié)點負(fù)載表。

6.根據(jù)權(quán)利要求5所述的任務(wù)調(diào)度裝置，其中，所述任務(wù)規(guī)模表和所述處理節(jié)點負(fù)載表分別由所述任務(wù)分發(fā)器根據(jù)各處理節(jié)點的任務(wù)執(zhí)行監(jiān)控器發(fā)送來的相關(guān)信息進行更新。

7.根據(jù)權(quán)利要求1所述的任務(wù)調(diào)度裝置，其中，

所述任務(wù)完成時間預(yù)測模型是基于處理節(jié)點執(zhí)行任務(wù)時所記錄的包括任務(wù)規(guī)模、處理節(jié)點負(fù)載的歷史數(shù)據(jù)來進行訓(xùn)練校準(zhǔn)的。

8.根據(jù)權(quán)利要求1所述的任務(wù)調(diào)度裝置，其中，

所述任務(wù)完成時間預(yù)測模型包括：用于計算在該處理節(jié)點上執(zhí)行該任務(wù)所需的執(zhí)行時間的模型，以及用于計算該處理節(jié)點的響應(yīng)時間的模型，其中，所述該處理節(jié)點的響應(yīng)時間包括：在該處理節(jié)點上執(zhí)行等待隊列中的所有等待任務(wù)所需的執(zhí)行時間、以及完成該處理節(jié)點上正在運行的當(dāng)前任務(wù)所需的執(zhí)行時間。

9.根據(jù)權(quán)利要求8所述的任務(wù)調(diào)度裝置，還包括：

用于存儲在該處理節(jié)點上開始執(zhí)行當(dāng)前任務(wù)后已花費時間的任務(wù)已花費時間表。

10.根據(jù)權(quán)利要求9所述的任務(wù)調(diào)度裝置，其中，

所述任務(wù)已花費時間表由所述任務(wù)分發(fā)器根據(jù)各處理節(jié)點的任務(wù)執(zhí)行監(jiān)控器發(fā)送來的信息進行更新。

11.根據(jù)權(quán)利要求4所述的任務(wù)調(diào)度裝置，其中，用于計算在該處理節(jié)點上執(zhí)行該任務(wù)所需的執(zhí)行時間的模型采用多元線性回歸模型。

12.根據(jù)權(quán)利要求1所述的任務(wù)調(diào)度裝置，其中，

所述任務(wù)規(guī)模至少包括以下任一項：程序步數(shù)、內(nèi)存使用量、網(wǎng)絡(luò)傳輸數(shù)據(jù)量和磁盤I/O數(shù)據(jù)量；

所述處理節(jié)點硬件水平至少包括以下任一項：CPU主頻、內(nèi)存大小、網(wǎng)絡(luò)帶寬和磁盤I/O速度；以及

所述處理節(jié)點負(fù)載至少包括以下任一項：CPU使用率、內(nèi)存使用率、網(wǎng)絡(luò)使用率和磁盤I/O使用率。

13.根據(jù)權(quán)利要求1所述的任務(wù)調(diào)度裝置，其中，

所述標(biāo)記為空的任務(wù)是不依賴于其他任務(wù)的獨立任務(wù)。

14.根據(jù)權(quán)利要求1所述的任務(wù)調(diào)度裝置，其中，

所述多節(jié)點分布式系統(tǒng)是網(wǎng)格系統(tǒng)。

15.一種在多節(jié)點分布式系統(tǒng)中進行任務(wù)調(diào)度的方法，包括：

從新任務(wù)池所存儲的新任務(wù)中過濾出標(biāo)記為空的任務(wù)，其中所述新任務(wù)至少包括添加了依賴任務(wù)標(biāo)記的新任務(wù)；

針對過濾出的標(biāo)記為空的每個任務(wù)，根據(jù)任務(wù)完成時間預(yù)測模型，來預(yù)測在處理節(jié)點集合中的每個處理節(jié)點上執(zhí)行該任務(wù)所需的完成時間；以及

將該任務(wù)分配給預(yù)測出的完成時間最短的處理節(jié)點。