[發(fā)明專利]一種作業(yè)調(diào)度方法及作業(yè)調(diào)度系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201410373085.8
• 申請(qǐng)日: 2014-07-31
• 公開（公告）號(hào): CN104158860B
• 公開（公告）日: 2017-09-29
• 發(fā)明（設(shè)計(jì)）人: 劉建文;都政;井革新;熊超超;馮海軍;徐穎俊;周志平;羅文龍;陳遠(yuǎn)磊
• 申請(qǐng)（專利權(quán)）人: 國家超級(jí)計(jì)算深圳中心（深圳云計(jì)算中心）;深圳云計(jì)算中心有限公司
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08
• 代理公司: 深圳市順天達(dá)專利商標(biāo)代理有限公司44217
• 代理人: 李琴

技術(shù)領(lǐng)域

本發(fā)明涉及任務(wù)分配技術(shù)領(lǐng)域，更具體地說，涉及一種作業(yè)調(diào)度方法及作業(yè)調(diào)度系統(tǒng)。

背景技術(shù)

為提高作業(yè)的本地?cái)?shù)據(jù)資源獲取水平，縮短單個(gè)作業(yè)的執(zhí)行時(shí)間，靜態(tài)延遲調(diào)度方法得到了廣泛使用。然而，靜態(tài)延遲調(diào)度方法還存在如下缺陷：

1)為確保用戶提交的作業(yè)獲取到本地?cái)?shù)據(jù)資源，提高單個(gè)作業(yè)的執(zhí)行效率，在作業(yè)未獲取到來自本地?cái)?shù)據(jù)資源的處理請(qǐng)求的情況下，需要進(jìn)行作業(yè)的延時(shí)調(diào)度處理，導(dǎo)致作業(yè)難以在預(yù)定時(shí)間內(nèi)執(zhí)行完畢。

2)采用靜態(tài)延遲調(diào)度方法在提高單個(gè)作業(yè)的執(zhí)行效率的同時(shí)，降低了整體作業(yè)的執(zhí)行效率。

因此，如何克服靜態(tài)延遲調(diào)度方法所存在的上述缺陷，開發(fā)一款兼顧單個(gè)作業(yè)的執(zhí)行效率及整體作業(yè)的執(zhí)行效率的作業(yè)調(diào)度方法已成為亟待解決的問題。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題在于，針對(duì)現(xiàn)有技術(shù)的上述缺陷，提供一種能兼顧單個(gè)作業(yè)的執(zhí)行效率及整體作業(yè)的執(zhí)行效率的作業(yè)調(diào)度方法及作業(yè)調(diào)度系統(tǒng)。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：構(gòu)造一種作業(yè)調(diào)度方法，包括如下步驟：

S1)在接收到由服務(wù)器集群中任意一臺(tái)子服務(wù)器M針對(duì)待處理作業(yè)隊(duì)列中的第j個(gè)作業(yè)提交的任務(wù)處理請(qǐng)求時(shí)，判斷該臺(tái)子服務(wù)器M是否為第j個(gè)作業(yè)的本地服務(wù)器；M為變量，j為遞增變量，M≥1，j≥1，且M、j均為正整數(shù)；

S2)如判斷子服務(wù)器M并非第j個(gè)作業(yè)的本地服務(wù)器，則基于資源預(yù)估模型量化計(jì)算一個(gè)數(shù)據(jù)塊傳輸周期T內(nèi)服務(wù)器集群中第j個(gè)作業(yè)的本地服務(wù)器針對(duì)第j個(gè)作業(yè)發(fā)起的任務(wù)處理請(qǐng)求次數(shù)E_j；

S3)判斷該任務(wù)處理請(qǐng)求次數(shù)E_j是否達(dá)到或超過一次；如判斷E_j＜1，則響應(yīng)由子服務(wù)器M提交的第j個(gè)作業(yè)的任務(wù)處理請(qǐng)求，將第j個(gè)作業(yè)的處理任務(wù)分配到子服務(wù)器M；如判斷E_j≥1，則執(zhí)行第j個(gè)作業(yè)的延時(shí)調(diào)度工作。

在本發(fā)明上述作業(yè)調(diào)度方法中，在所述步驟S1之前還包括如下步驟：

S0)指定服務(wù)器集群中用于執(zhí)行作業(yè)受理及分配工作的主服務(wù)器，通過該主服務(wù)器接收用戶通過作業(yè)提交終端提交的作業(yè)，并將作業(yè)添加到待處理作業(yè)隊(duì)列。

在本發(fā)明上述作業(yè)調(diào)度方法中，所述步驟S0還包括：根據(jù)作業(yè)的提交時(shí)間確定待處理作業(yè)隊(duì)列中各個(gè)作業(yè)的優(yōu)先級(jí)，依照各個(gè)作業(yè)的優(yōu)先級(jí)對(duì)待處理隊(duì)列中的各個(gè)作業(yè)進(jìn)行排序，以確定各個(gè)作業(yè)的處理順序。

在本發(fā)明上述作業(yè)調(diào)度方法中，所述步驟S1中所述判斷子服務(wù)器M是否為第j個(gè)作業(yè)的本地服務(wù)器的步驟包括：通過主服務(wù)器接收服務(wù)器集群中除其之外的任意一臺(tái)子服務(wù)器M針對(duì)第j個(gè)作業(yè)發(fā)起的任務(wù)處理請(qǐng)求，遍歷待處理作業(yè)隊(duì)列，讀取待處理作業(yè)隊(duì)列中的第j個(gè)作業(yè)，并判斷子服務(wù)器M是否存儲(chǔ)有用于處理第j個(gè)作業(yè)所需的數(shù)據(jù)塊；

如判斷子服務(wù)器M存儲(chǔ)有用于處理第j個(gè)作業(yè)所需的數(shù)據(jù)塊，則判定子服務(wù)器M為第j個(gè)作業(yè)的本地服務(wù)器；

如判斷子服務(wù)器M未存儲(chǔ)有用于處理第j個(gè)作業(yè)所需的數(shù)據(jù)塊，則判定子服務(wù)器M為非第j個(gè)作業(yè)的本地服務(wù)器。

在本發(fā)明上述作業(yè)調(diào)度方法中，所述步驟S1還包括：如判斷子服務(wù)器M為本地服務(wù)器，則響應(yīng)由子服務(wù)器M提交的第j個(gè)作業(yè)的任務(wù)處理請(qǐng)求，將第j個(gè)作業(yè)的處理任務(wù)分配到子服務(wù)器M。

在本發(fā)明上述作業(yè)調(diào)度方法中，所述步驟S1還包括在將第j個(gè)作業(yè)的處理任務(wù)分配到子服務(wù)器M之后所進(jìn)行的第j個(gè)作業(yè)的處理步驟，所述第j個(gè)作業(yè)的處理步驟包括：

子服務(wù)器M查找服務(wù)器集群中第j個(gè)作業(yè)的本地服務(wù)器，拷貝由該本地服務(wù)器存儲(chǔ)的用于處理第j個(gè)作業(yè)所需的數(shù)據(jù)塊，并依照第j個(gè)作業(yè)對(duì)拷貝的數(shù)據(jù)塊進(jìn)行處理，以將第j個(gè)作業(yè)執(zhí)行完畢。

在本發(fā)明上述作業(yè)調(diào)度方法中，所述步驟S2中用于計(jì)算一個(gè)數(shù)據(jù)塊傳輸周期T內(nèi)服務(wù)器集群中第j個(gè)作業(yè)的本地服務(wù)器針對(duì)第j個(gè)作業(yè)所提交的任務(wù)處理請(qǐng)求次數(shù)Ej的資源預(yù)估模型如下所示：

E_j＝T×(N/T^Heat)×Slot^avg×P^slot×P_j^LocalData×P_j^Compete；其中

N表示服務(wù)器集群中的所有子服務(wù)器的數(shù)目；

T^Heat表示服務(wù)器集群中子服務(wù)器的任務(wù)處理請(qǐng)求提交周期；

Slot^avg表示每個(gè)子服務(wù)器在提交任務(wù)處理請(qǐng)求時(shí)提供的平均時(shí)槽數(shù)目；