[發(fā)明專利]一種分布式系統(tǒng)的任務(wù)管理系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 201210429687.1
• 申請日: 2012-11-01
• 公開（公告）號: CN103294534B
• 公開（公告）日: 2017-02-08
• 發(fā)明（設(shè)計）人: 關(guān)進(jìn)中;王維;李世淙
• 申請（專利權(quán)）人: 北京安天電子設(shè)備有限公司
• 主分類號: G06F9/46
• 分類號: G06F9/46
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術(shù)領(lǐng)域

本發(fā)明涉及計算機應(yīng)用技術(shù)領(lǐng)域，尤其涉及一種分布式系統(tǒng)的任務(wù)管理系統(tǒng)及方法。?

背景技術(shù)

由于單系統(tǒng)能力有限，分布式系統(tǒng)的使用越來越普及。對于分布式系統(tǒng)來說，一個任務(wù)從派發(fā)到執(zhí)行再到執(zhí)行結(jié)果匯總的整個生命周期，可能分布于系統(tǒng)中不同的計算節(jié)點上。并且對于大型的作業(yè)系統(tǒng)來說，系統(tǒng)中可能包含有成千上萬的計算資源，參與任務(wù)處理的計算節(jié)點數(shù)量極大。如何合理的協(xié)調(diào)計算資源，如何追蹤任務(wù)執(zhí)行情況是目前迫切需要解決的問題。而目前的分布式系統(tǒng)仍然存在以下問題：

（1）任務(wù)的派發(fā)節(jié)點和執(zhí)行節(jié)點的數(shù)量和運算能力不一定對等，可能出現(xiàn)派發(fā)任務(wù)過多導(dǎo)致飽和，此時如果繼續(xù)派發(fā)任務(wù)則有可能使系統(tǒng)負(fù)載過重，導(dǎo)致宕機或者系統(tǒng)停擺。

（2）分布式系統(tǒng)涉及的計算資源眾多，由于功能升級或者運維等原因可能需要對某些功能節(jié)點進(jìn)行停機維護(hù)，但是并不希望整個系統(tǒng)停止運行，從而減少升級或者運維的成本。

（3）由于參與任務(wù)執(zhí)行的節(jié)點是分布式的，一個任務(wù)具體被哪個節(jié)點執(zhí)行不能確定，當(dāng)任務(wù)執(zhí)行出錯時不能盡快定位出錯的具體節(jié)點，并進(jìn)行后續(xù)的處理流程。

發(fā)明內(nèi)容

針對上述技術(shù)問題，本發(fā)明提供了一種分布式系統(tǒng)的任務(wù)管理系統(tǒng)及方法，利用單邊操作模塊來完善分布式系統(tǒng)的任務(wù)管理，提高系統(tǒng)資源的利用率和任務(wù)管理的健壯性和靈活性。?

本發(fā)明采用如下方法來實現(xiàn)：

一種分布式系統(tǒng)的任務(wù)管理系統(tǒng)，包括：?

派發(fā)節(jié)點，用于將任務(wù)派發(fā)至緩沖池中；

緩沖池，用于存儲待執(zhí)行的任務(wù)；

執(zhí)行節(jié)點，用于從緩沖池中獲取任務(wù)進(jìn)行處理；

單邊操作模塊，用于接收用戶指令，選擇單邊消費模式或者單邊生產(chǎn)模式，所述單邊消費模式為停止派發(fā)節(jié)點將任務(wù)派發(fā)至緩沖池中，允許執(zhí)行節(jié)點從緩沖池中獲取任務(wù)進(jìn)行處理；所述單邊生產(chǎn)模式為允許派發(fā)節(jié)點將任務(wù)派發(fā)至緩沖池中，停止執(zhí)行節(jié)點從緩沖池中獲取任務(wù)進(jìn)行處理；

任務(wù)跟蹤模塊，用于跟蹤任務(wù)的任務(wù)狀態(tài)以及任務(wù)所在執(zhí)行節(jié)點的信息。

進(jìn)一步，任務(wù)跟蹤模塊中所述任務(wù)狀態(tài)可以包括：任務(wù)已派發(fā)、任務(wù)被領(lǐng)取、任務(wù)開始執(zhí)行、任務(wù)執(zhí)行中、任務(wù)已超時、任務(wù)執(zhí)行異常、任務(wù)已完成或者任務(wù)執(zhí)行失敗。

其中，任務(wù)狀態(tài)中所述的任務(wù)已超時包括從任務(wù)已派發(fā)到任務(wù)被領(lǐng)取的全局超時，或者從任務(wù)被領(lǐng)取到任務(wù)開始執(zhí)行的執(zhí)行超時。

其中，任務(wù)跟蹤模塊中對所述任務(wù)狀態(tài)進(jìn)行更新的同時更新時間戳。

進(jìn)一步，任務(wù)跟蹤模塊中，所述任務(wù)所在執(zhí)行節(jié)點的信息可以通過MAC地址或者IP地址來標(biāo)識。

優(yōu)選地，該任務(wù)管理系統(tǒng)還可以包括：預(yù)警模塊，用于監(jiān)控緩沖池中的任務(wù)數(shù)量，當(dāng)緩沖池中的任務(wù)數(shù)量達(dá)到預(yù)設(shè)閾值時觸發(fā)預(yù)警；

進(jìn)一步，預(yù)警模塊具體完成：監(jiān)控緩沖池中的任務(wù)數(shù)量，當(dāng)緩沖池中的任務(wù)數(shù)量等于或高于預(yù)設(shè)閾值時觸發(fā)預(yù)警，并暫停派發(fā)節(jié)點向緩沖池中派發(fā)新任務(wù)；或者當(dāng)緩沖池中的任務(wù)數(shù)量等于或低于預(yù)設(shè)閾值時觸發(fā)預(yù)警，并關(guān)閉部分執(zhí)行節(jié)點。

其中，當(dāng)暫停派發(fā)節(jié)點向緩沖池中派發(fā)新任務(wù)時，允許執(zhí)行節(jié)點獲取緩沖池中的任務(wù)進(jìn)行處理；當(dāng)關(guān)閉部分執(zhí)行節(jié)點時，允許派發(fā)節(jié)點繼續(xù)向緩沖池中派發(fā)任務(wù)。

優(yōu)選地，該任務(wù)管理系統(tǒng)還包括：任務(wù)管理嵌套模塊，利用擴(kuò)展接口完成任務(wù)管理的嵌套；即在一個大的任務(wù)管理器中嵌套一些小的任務(wù)管理器，從而更好地完成對于子任務(wù)的處理控制，達(dá)到對于分布式系統(tǒng)中任務(wù)的細(xì)粒度控制。

更為優(yōu)選地，該任務(wù)管理系統(tǒng)還包括：自定義處理模塊，針對所述任務(wù)狀態(tài)，利用擴(kuò)展接口自定義后續(xù)處理流程。

進(jìn)一步，自定義處理模塊可以利用回調(diào)函數(shù)定義所述任務(wù)狀態(tài)的后續(xù)處理流程。?

一種分布式系統(tǒng)的任務(wù)管理方法，在派發(fā)節(jié)點將任務(wù)派發(fā)至緩沖池中，執(zhí)行節(jié)點從緩沖池中獲取任務(wù)進(jìn)行處理的過程中，如果接收到用戶指令或者緩沖池中的任務(wù)數(shù)量接近某一閾值時，則進(jìn)入單邊模式，選擇單邊消費模式或者單邊生產(chǎn)模式，所述單邊消費模式為停止派發(fā)節(jié)點將任務(wù)派發(fā)至緩沖池中，允許執(zhí)行節(jié)點從緩沖池中獲取任務(wù)進(jìn)行處理；所述單邊生產(chǎn)模式為允許派發(fā)節(jié)點將任務(wù)派發(fā)至緩沖池中，停止執(zhí)行節(jié)點從緩沖池中獲取任務(wù)進(jìn)行處理；

所述方法還包括跟蹤任務(wù)的任務(wù)狀態(tài)以及任務(wù)所在執(zhí)行節(jié)點的信息。

進(jìn)一步，所述任務(wù)狀態(tài)可以包括：任務(wù)已派發(fā)、任務(wù)被領(lǐng)取、任務(wù)開始執(zhí)行、任務(wù)執(zhí)行中、任務(wù)已超時、任務(wù)執(zhí)行異常、任務(wù)已完成或者任務(wù)執(zhí)行失敗。

其中，所述任務(wù)已超時包括從任務(wù)已派發(fā)到任務(wù)被領(lǐng)取的全局超時，或者從任務(wù)被領(lǐng)取到任務(wù)開始執(zhí)行的執(zhí)行超時。