[發(fā)明專利]用于調(diào)度例行作業(yè)的方法和系統(tǒng)、調(diào)度節(jié)點(diǎn)

有效

• 申請?zhí)枺?/td>: 201210490591.6
• 申請日: 2012-11-27
• 公開（公告）號: CN103838621B
• 公開（公告）日: 2017-05-10
• 發(fā)明（設(shè)計(jì)）人: 李明;王丹;奚曉音
• 申請（專利權(quán)）人: 中國電信股份有限公司
• 主分類號: G06F9/46
• 分類號: G06F9/46;G06F9/50
• 代理公司: 中國國際貿(mào)易促進(jìn)委員會專利商標(biāo)事務(wù)所11038
• 代理人: 劉劍波

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)應(yīng)用技術(shù)領(lǐng)域，特別是涉及一種用于調(diào)度例行作業(yè)的方法和系統(tǒng)、調(diào)度節(jié)點(diǎn)。

背景技術(shù)

近幾年來，云計(jì)算模式已經(jīng)成為企業(yè)界和學(xué)術(shù)界關(guān)注和研究的重點(diǎn)。傳統(tǒng)的計(jì)算模式下，用戶維護(hù)自己的計(jì)算資源、存儲資源。在云計(jì)算模式下，計(jì)算資源、存儲資源和網(wǎng)絡(luò)資源進(jìn)行集中管理，組成資源池，然后通過調(diào)度算法，利用抽象的虛擬化技術(shù)，使得一個(gè)物理機(jī)可以支持多個(gè)虛擬機(jī)，也可以不同的物理機(jī)間遷移虛擬機(jī)，從而大大提高了資源的利用率。因此資源集中化管理是云計(jì)算平臺的基礎(chǔ)，而資源調(diào)度方法則是云平臺的關(guān)鍵。

在企業(yè)內(nèi)部隨著越來越多的應(yīng)用都開始部署在云計(jì)算平臺上，對于云計(jì)算環(huán)境中的分布式計(jì)算節(jié)點(diǎn)，如何通過作業(yè)調(diào)度以高效處理上層計(jì)算請求，提高計(jì)算節(jié)點(diǎn)的利用率，成為當(dāng)前研究的熱點(diǎn)。國內(nèi)外研究主要包括多作業(yè)并行運(yùn)行時(shí)作業(yè)間的調(diào)度、單作業(yè)運(yùn)行時(shí)子任務(wù)的調(diào)度和并行運(yùn)行的子任務(wù)數(shù)量的優(yōu)化等。

在作業(yè)調(diào)度方法中，最基本的是先入先出法，但是系統(tǒng)的整體利用率不是很高，整體響應(yīng)時(shí)間比較長。公平調(diào)度方法(Fair Scheduler)提出可以較好的利用系統(tǒng)的空閑時(shí)間，安排較小的作業(yè)運(yùn)行。容量調(diào)度(Capacity Scheduler)則是將資源劃分多個(gè)隊(duì)列，每個(gè)作業(yè)分配優(yōu)先級和資源占用比例，從而提高資源利用率。

以上的資源調(diào)度方法，基本上針對需要即時(shí)運(yùn)行的作業(yè)集，而不是針對例行作業(yè)進(jìn)行。例行作業(yè)是經(jīng)常性或周期性在需要某段時(shí)間內(nèi)運(yùn)行完成的作業(yè)。這種作業(yè)一般具有所需資源已知、作業(yè)之間的依賴關(guān)系確定、需要開始或完成時(shí)間明確的特點(diǎn)。在銀行、電信等大企業(yè)內(nèi)部有很多例行作業(yè)運(yùn)行在云計(jì)算平臺之上。當(dāng)前對于例行作業(yè)在云平臺調(diào)度目前主要是評人工經(jīng)驗(yàn)進(jìn)行設(shè)置，這樣的缺點(diǎn)主要有：

(1)容易造成設(shè)備資源忙閑不均，設(shè)備利用率低；

(2)作業(yè)依賴關(guān)系需要靠作業(yè)本身維護(hù)，耦合性比較大；

(3)中間插入作業(yè)比較困難，需要人工評經(jīng)驗(yàn)反復(fù)調(diào)整，并且容易引起資源緊張或者競爭。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題是提供一種用于調(diào)度例行作業(yè)的方法和系統(tǒng)、調(diào)度節(jié)點(diǎn)。通過利用關(guān)鍵路徑法來安排例行作業(yè)，填補(bǔ)了在云計(jì)算環(huán)境中對于例行作業(yè)的處理空白，改變以往有人工設(shè)置造成資源忙閑不均、利用率比較低的缺點(diǎn)。

根據(jù)本發(fā)明的一個(gè)方面，提供一種用于調(diào)度例行作業(yè)的方法，包括：

獲取各計(jì)算節(jié)點(diǎn)的資源信息；

收集需要調(diào)度的例行作業(yè)的作業(yè)信息，其中作業(yè)信息包括各例行作業(yè)之間的依賴關(guān)系；

根據(jù)各例行作業(yè)之間的依賴關(guān)系，將例行作業(yè)進(jìn)行分組，其中不同組的例行作業(yè)之間沒有依賴關(guān)系；

針對每個(gè)組，按照關(guān)鍵路徑法，確定例行作業(yè)的關(guān)鍵路徑，并標(biāo)識出各例行作業(yè)的自由時(shí)間；

安排每個(gè)組處于關(guān)鍵路徑上的例行作業(yè)；

判斷全部例行作業(yè)是否已安排完畢；

若全部例行作業(yè)已安排完畢，通知相應(yīng)計(jì)算節(jié)點(diǎn)獲取安排的例行作業(yè)，以便相應(yīng)計(jì)算節(jié)點(diǎn)根據(jù)安排的例行作業(yè)進(jìn)行作業(yè)處理。

根據(jù)本發(fā)明的另一方面，提供一種用于調(diào)度例行作業(yè)的調(diào)度節(jié)點(diǎn)，包括：

獲取單元，用于獲取各計(jì)算節(jié)點(diǎn)的資源信息；

收集單元，用于收集需要調(diào)度的例行作業(yè)的作業(yè)信息，其中作業(yè)信息包括各例行作業(yè)之間的依賴關(guān)系；

分組單元，用于根據(jù)各例行作業(yè)之間的依賴關(guān)系，將例行作業(yè)進(jìn)行分組，其中不同組的例行作業(yè)之間沒有依賴關(guān)系；

關(guān)鍵路徑確定單元，用于針對每個(gè)組，按照關(guān)鍵路徑法，確定例行作業(yè)的關(guān)鍵路徑，并標(biāo)識出各例行作業(yè)的自由時(shí)間；

第一安排單元，用于安排每個(gè)組處于關(guān)鍵路徑上的例行作業(yè)；

第一識別單元，用于判斷全部例行作業(yè)是否已安排完畢；

通知單元，用于在第一識別單元判斷全部例行作業(yè)已安排完畢時(shí)，通知相應(yīng)計(jì)算節(jié)點(diǎn)獲取安排的例行作業(yè)，以便相應(yīng)計(jì)算節(jié)點(diǎn)根據(jù)安排的例行作業(yè)進(jìn)行作業(yè)處理。

根據(jù)本發(fā)明的另一方面，提供一種用于調(diào)度例行作業(yè)的系統(tǒng)，包括：調(diào)度節(jié)點(diǎn)、至少一個(gè)計(jì)算節(jié)點(diǎn)，其中：