[發(fā)明專利]一種去中心化資源調(diào)度方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201610063947.6
• 申請日: 2016-01-29
• 公開（公告）號(hào): CN107025136A
• 公開（公告）日: 2017-08-08
• 發(fā)明（設(shè)計(jì)）人: 孫利軍
• 申請（專利權(quán)）人: 中興通訊股份有限公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50;G06F9/48
• 代理公司: 北京銀龍知識(shí)產(chǎn)權(quán)代理有限公司11243
• 代理人: 許靜,安利霞

技術(shù)領(lǐng)域

本發(fā)明涉及并行計(jì)算技術(shù)領(lǐng)域，特別是指一種去中心化資源調(diào)度方法及系統(tǒng)。

背景技術(shù)

當(dāng)前已經(jīng)進(jìn)入了大數(shù)據(jù)時(shí)代，大數(shù)據(jù)不光帶來了信息產(chǎn)業(yè)的創(chuàng)新，還推動(dòng)了傳統(tǒng)產(chǎn)業(yè)自我價(jià)值的重新定位。

目前的大數(shù)據(jù)計(jì)算，主要有Yarn，Spark，Storm等。這些計(jì)算框架大部分都是主從結(jié)構(gòu)。為了解決單點(diǎn)故障問題，會(huì)啟動(dòng)一個(gè)備資源調(diào)度節(jié)點(diǎn)以便主資源調(diào)度節(jié)點(diǎn)發(fā)生故障時(shí)能接管服務(wù)。但目前的架構(gòu)中，同一時(shí)間，主備資源調(diào)度節(jié)點(diǎn)只有一個(gè)能正常提供服務(wù)。這樣一來就會(huì)存在一個(gè)問題：當(dāng)大量的作業(yè)需要在計(jì)算框架中并發(fā)運(yùn)行時(shí)，資源調(diào)度節(jié)點(diǎn)面臨的沖擊將會(huì)很大，很可能出現(xiàn)內(nèi)存溢出，作業(yè)資源調(diào)度異常等各種問題。

從大數(shù)據(jù)平臺(tái)的應(yīng)用發(fā)展趨勢來看，目前主要有兩種方向:一是基于開源的基礎(chǔ)上自研大數(shù)據(jù)平臺(tái)供內(nèi)部使用；二是實(shí)現(xiàn)數(shù)據(jù)平臺(tái)的物理支撐，以租戶的方式提供大數(shù)據(jù)服務(wù)給眾多的小廠商。這兩種方向都會(huì)遇到上述的大量作業(yè)并發(fā)運(yùn)行的問題。對(duì)于內(nèi)部使用的數(shù)據(jù)平臺(tái)來說還可以通過限制作業(yè)并發(fā)運(yùn)行的數(shù)目來避免問題，但是對(duì)于以服務(wù)方式提供的數(shù)據(jù)平臺(tái)來說，大量作業(yè)并發(fā)運(yùn)行將是系統(tǒng)所必備的功能。

大量作業(yè)并發(fā)運(yùn)行的問題尚未在各大數(shù)據(jù)計(jì)算框架中引起足夠的重視,但是隨著提供服務(wù)的大數(shù)據(jù)平臺(tái)的推廣,使用服務(wù)的租戶的增長,大量作業(yè)并發(fā)的問題將很快成為一個(gè)亟待解決的問題。目前暫時(shí)也沒有發(fā)現(xiàn)完整、系統(tǒng)化的方案提出,大概可行的方案有如下幾種:

現(xiàn)有方法1：提升資源調(diào)度節(jié)點(diǎn)的機(jī)器性能,擴(kuò)大資源調(diào)度角色的CPU，內(nèi)存，網(wǎng)絡(luò)資源。這樣可以有限地提升資源調(diào)度節(jié)點(diǎn)的數(shù)據(jù)吞吐能力。

缺點(diǎn)：為了滿足硬件的高配置要求，代價(jià)將會(huì)很高昂。而當(dāng)并發(fā)作業(yè)數(shù)上萬時(shí)，該節(jié)點(diǎn)的負(fù)載將會(huì)非常高，很容易出現(xiàn)異常，且主備切換也需要花費(fèi)更多的時(shí)間。

現(xiàn)有方法2：使用多個(gè)大數(shù)據(jù)集群聯(lián)合，在其上封裝一個(gè)接口層，將作業(yè)負(fù)載均衡地分配到各集群上。該方法能較好地實(shí)現(xiàn)集群能力的橫向擴(kuò)展。

缺點(diǎn)：由于集群之間資源是隔離的，租戶最多只能獲得一個(gè)集群的所有資源，而集群聯(lián)合的總資源往往是遠(yuǎn)遠(yuǎn)大于某一個(gè)集群的。

集群的數(shù)據(jù)源(通常是HDFS)往往是采用聯(lián)邦方式實(shí)現(xiàn)的橫向擴(kuò)展。當(dāng)作業(yè)需要處理的數(shù)據(jù)是跨越多個(gè)集群時(shí)，作業(yè)由于只在一個(gè)集群上得到資源調(diào)度，對(duì)于集群外的數(shù)據(jù)全都需要遠(yuǎn)程獲取，本地性不夠，加大網(wǎng)絡(luò)負(fù)載。

由于存在多個(gè)集群，租戶的資源使用率不好控制，普通租戶和Vip租戶的資源使用率如何避免集群差異的影響會(huì)比較復(fù)雜。

現(xiàn)有方法3：使用多個(gè)大數(shù)據(jù)集群聯(lián)合,并提供一個(gè)作業(yè)控制模塊。當(dāng)收到提交的作業(yè)時(shí)將作業(yè)按策略分解為多個(gè)作業(yè)并分發(fā)到相應(yīng)的數(shù)據(jù)集群進(jìn)行計(jì)算。由于多個(gè)集群聯(lián)合，資源調(diào)度模塊有多個(gè)，作業(yè)的并發(fā)能力得到擴(kuò)展。

缺點(diǎn)：作業(yè)控制模塊對(duì)作業(yè)的分解將依賴于作業(yè)的具體業(yè)務(wù)，導(dǎo)致作業(yè)控制模塊的邏輯有依賴性。

作業(yè)由于被分解成了多個(gè)子作業(yè)，如果業(yè)務(wù)邏輯還需要對(duì)數(shù)據(jù)進(jìn)行匯總的話，勢必還要一個(gè)匯總作業(yè)。復(fù)雜性比較高。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種去中心化資源調(diào)度方法及系統(tǒng)，解決現(xiàn)有技術(shù)中大量作業(yè)并發(fā)的問題。

為了解決上述技術(shù)問題，本發(fā)明實(shí)施例提供一種去中心化資源調(diào)度方法，包括：

利用集群接入節(jié)點(diǎn)接收作業(yè)；

利用資源調(diào)度策略節(jié)點(diǎn)根據(jù)當(dāng)前資源負(fù)載情況和所述作業(yè)中的作業(yè)特征和用戶特征得到對(duì)應(yīng)的資源調(diào)度節(jié)點(diǎn)信息；

若不存在與所述資源調(diào)度節(jié)點(diǎn)信息相對(duì)應(yīng)的資源調(diào)度節(jié)點(diǎn)，則生成所述資 源調(diào)度節(jié)點(diǎn)，利用所述資源調(diào)度節(jié)點(diǎn)為所述作業(yè)調(diào)度資源。

可選地，在所述利用集群接入節(jié)點(diǎn)接收作業(yè)之前，所述去中心化資源調(diào)度方法還包括：

配置預(yù)設(shè)數(shù)量預(yù)啟動(dòng)的所述資源調(diào)度節(jié)點(diǎn)；

在系統(tǒng)啟動(dòng)時(shí)，啟動(dòng)配置的所述預(yù)設(shè)數(shù)量的所述資源調(diào)度節(jié)點(diǎn)。

可選地，在所述利用所述資源調(diào)度節(jié)點(diǎn)為所述作業(yè)調(diào)度資源之后，所述去中心化資源調(diào)度方法還包括：

若預(yù)設(shè)時(shí)間段內(nèi)生成的所述資源調(diào)度節(jié)點(diǎn)沒有為另一作業(yè)調(diào)度資源，則自動(dòng)關(guān)閉生成的所述資源調(diào)度節(jié)點(diǎn)。

可選地，所述利用資源調(diào)度策略節(jié)點(diǎn)根據(jù)當(dāng)前資源負(fù)載情況和所述作業(yè)中的作業(yè)特征和用戶特征得到對(duì)應(yīng)的資源調(diào)度節(jié)點(diǎn)信息的步驟包括：

根據(jù)所述作業(yè)特征得到所述作業(yè)的數(shù)據(jù)本地性較好的資源調(diào)度節(jié)點(diǎn)集合；

根據(jù)所述用戶特征得到資源的限制約束；

根據(jù)預(yù)設(shè)策略，結(jié)合所述當(dāng)前資源負(fù)載情況、資源調(diào)度節(jié)點(diǎn)集合和資源的限制約束得到對(duì)應(yīng)的資源調(diào)度節(jié)點(diǎn)信息。