[發(fā)明專(zhuān)利]分布式任務(wù)調(diào)度方法、系統(tǒng)和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201110214428.2
• 申請(qǐng)日: 2011-07-28
• 公開(kāi)（公告）號(hào): CN102902587A
• 公開(kāi)（公告）日: 2013-01-30
• 發(fā)明（設(shè)計(jì)）人: 鄭長(zhǎng)松;蕭巍;曾東;廖勤耘;柳劉;陳少權(quán);王全禮
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)移動(dòng)通信集團(tuán)四川有限公司
• 主分類(lèi)號(hào): G06F9/50
• 分類(lèi)號(hào): G06F9/50
• 代理公司: 北京德琦知識(shí)產(chǎn)權(quán)代理有限公司 11018
• 代理人: 謝安昆;宋志強(qiáng)

技術(shù)領(lǐng)域

本發(fā)明涉及任務(wù)調(diào)度技術(shù)，特別涉及分布式任務(wù)調(diào)度方法、系統(tǒng)和裝置。

背景技術(shù)

分布式任務(wù)調(diào)度，是指將一個(gè)應(yīng)用或者業(yè)務(wù)劃分出的多個(gè)任務(wù)交由多個(gè)服務(wù)器進(jìn)行處理。分布式任務(wù)調(diào)度可解決單個(gè)服務(wù)器資源不足等問(wèn)題，達(dá)到大規(guī)模數(shù)據(jù)計(jì)算的目的。

通常，分布式任務(wù)調(diào)度系統(tǒng)中會(huì)包括一個(gè)控制服務(wù)器，其它各服務(wù)器稱(chēng)為執(zhí)行服務(wù)器，可利用控制服務(wù)器來(lái)對(duì)各執(zhí)行服務(wù)器進(jìn)行統(tǒng)一管理，如當(dāng)有任務(wù)需要執(zhí)行時(shí)，由控制服務(wù)器按照某種規(guī)則將其分配給某一執(zhí)行服務(wù)器。

對(duì)于執(zhí)行服務(wù)器來(lái)說(shuō)，其只能被動(dòng)地接受所分配的任務(wù)，但該任務(wù)可能并不適合其處理，比如：假設(shè)執(zhí)行服務(wù)器的可用內(nèi)存為700M，當(dāng)前執(zhí)行的任務(wù)占用了200M，新分配的一個(gè)任務(wù)需要占用600M的內(nèi)存，那么，該新分配的任務(wù)就將無(wú)法執(zhí)行，即只能等到當(dāng)前任務(wù)執(zhí)行完畢后才能執(zhí)行，那么剩余的500M內(nèi)存就相等于被浪費(fèi)了，而且，如果當(dāng)前任務(wù)需要執(zhí)行較長(zhǎng)的時(shí)間，新分配的任務(wù)就需要等待較長(zhǎng)的時(shí)間，從而降低了任務(wù)處理效率。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的主要目的在于提供一種分布式任務(wù)調(diào)度方法，能夠提高資源利用率和任務(wù)處理效率。

本發(fā)明的另一目的在于提供一種分布式任務(wù)調(diào)度系統(tǒng)，能夠提高資源利用率和任務(wù)處理效率。

本發(fā)明的又一目的在于提供一種執(zhí)行服務(wù)器，能夠提高資源利用率和任務(wù)處理效率。

本發(fā)明的再一目的在于提供一種控制服務(wù)器，能夠提高資源利用率和任務(wù)處理效率。

為達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：

一種分布式任務(wù)調(diào)度方法，在分布式任務(wù)調(diào)度系統(tǒng)中設(shè)置一個(gè)控制服務(wù)器和一個(gè)以上執(zhí)行服務(wù)器，在控制服務(wù)器中設(shè)置一個(gè)調(diào)度控制器，在每個(gè)執(zhí)行服務(wù)器中分別劃分出兩個(gè)以上任務(wù)槽，并為每個(gè)任務(wù)槽分配所需的資源；當(dāng)所述分布式任務(wù)調(diào)度系統(tǒng)運(yùn)行時(shí)，該方法包括：

調(diào)度控制器維護(hù)兩個(gè)隊(duì)列，一個(gè)為任務(wù)等待隊(duì)列，另一個(gè)為任務(wù)槽隊(duì)列；

當(dāng)每接收到一個(gè)任務(wù)X時(shí)，調(diào)度控制器確定任務(wù)槽隊(duì)列中是否存在適合處理任務(wù)X的任務(wù)槽，如果是，則將任務(wù)X分配給該任務(wù)槽，否則，將任務(wù)X加入到任務(wù)等待隊(duì)列中；

當(dāng)每接收到一個(gè)任務(wù)槽X主動(dòng)發(fā)送來(lái)的任務(wù)請(qǐng)求時(shí)，調(diào)度控制器確定任務(wù)等待隊(duì)列中是否存在適合任務(wù)槽X處理的任務(wù)，如果是，則將該任務(wù)分配給任務(wù)槽X，否則，將任務(wù)槽X加入到任務(wù)槽隊(duì)列中；所述任務(wù)請(qǐng)求為任務(wù)槽X確定自身資源使用情況適合主動(dòng)請(qǐng)求新的任務(wù)后發(fā)送來(lái)的。

一種分布式任務(wù)調(diào)度系統(tǒng)，包括：兩個(gè)以上服務(wù)器，其中一個(gè)為控制服務(wù)器，或同時(shí)為控制服務(wù)器和執(zhí)行服務(wù)器，其余均為執(zhí)行服務(wù)器；控制服務(wù)器中包括一個(gè)調(diào)度控制器，每個(gè)執(zhí)行服務(wù)器中均包括兩個(gè)以上任務(wù)槽，每個(gè)任務(wù)槽均分配有一定的資源，每個(gè)任務(wù)槽中進(jìn)一步包括協(xié)調(diào)器和任務(wù)執(zhí)行器；

調(diào)度控制器，用于維護(hù)兩個(gè)隊(duì)列，一個(gè)為任務(wù)等待隊(duì)列，另一個(gè)為任務(wù)槽隊(duì)列；當(dāng)每接收到一個(gè)任務(wù)X時(shí)，確定任務(wù)槽隊(duì)列中是否存在適合處理任務(wù)X的任務(wù)槽，如果是，則將任務(wù)X分配給該任務(wù)槽，否則，將任務(wù)X加入到任務(wù)等待隊(duì)列中；當(dāng)每接收到一個(gè)任務(wù)槽X主動(dòng)發(fā)送來(lái)的任務(wù)請(qǐng)求時(shí)，確定任務(wù)等待隊(duì)列中是否存在適合任務(wù)槽X處理的任務(wù)，如果是，則將該任務(wù)分配給任務(wù)槽X，否則，將任務(wù)槽X加入到任務(wù)槽隊(duì)列中；

協(xié)調(diào)器，用于根據(jù)所在任務(wù)槽的資源使用情況主動(dòng)向調(diào)度控制器請(qǐng)求新的任務(wù)，并接收調(diào)度控制器所分配的任務(wù)，發(fā)送給任務(wù)執(zhí)行器；

任務(wù)執(zhí)行器，用于執(zhí)行所分配的任務(wù)。

一種執(zhí)行服務(wù)器，包括兩個(gè)以上任務(wù)槽，每個(gè)任務(wù)槽均分配有一定的資源，每個(gè)任務(wù)槽中進(jìn)一步包括協(xié)調(diào)器和任務(wù)執(zhí)行器；

協(xié)調(diào)器，用于根據(jù)所在任務(wù)槽的資源使用情況主動(dòng)向調(diào)度控制器請(qǐng)求新的任務(wù)，并接收調(diào)度控制器所分配的任務(wù)，發(fā)送給任務(wù)執(zhí)行器；

任務(wù)執(zhí)行器，用于執(zhí)行所分配的任務(wù)。

一種控制服務(wù)器，包括調(diào)度控制器；

所述調(diào)度控制器，用于維護(hù)兩個(gè)隊(duì)列，一個(gè)為任務(wù)等待隊(duì)列，另一個(gè)為任務(wù)槽隊(duì)列；當(dāng)每接收到一個(gè)任務(wù)X時(shí)，確定任務(wù)槽隊(duì)列中是否存在適合處理任務(wù)X的任務(wù)槽，如果是，則將任務(wù)X分配給該任務(wù)槽，否則，將任務(wù)X加入到任務(wù)等待隊(duì)列中；當(dāng)每接收到一個(gè)任務(wù)槽X主動(dòng)發(fā)送來(lái)的任務(wù)請(qǐng)求時(shí)，確定任務(wù)等待隊(duì)列中是否存在適合任務(wù)槽X處理的任務(wù)，如果是，則將該任務(wù)分配給任務(wù)槽X，否則，將任務(wù)槽X加入到任務(wù)槽隊(duì)列中；所述任務(wù)請(qǐng)求為任務(wù)槽X確定自身的資源使用情況適合主動(dòng)請(qǐng)求新的任務(wù)后發(fā)送來(lái)的。