[發(fā)明專利]任務(wù)調(diào)度方法、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請?zhí)枺?/td>: 202011223198.1
• 申請日: 2020-11-05
• 公開（公告）號(hào): CN112328378B
• 公開（公告）日: 2023-03-24
• 發(fā)明（設(shè)計(jì)）人: 唐劍飛
• 申請（專利權(quán)）人: 南京星環(huán)智能科技有限公司
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48;G06F9/50
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發(fā)明實(shí)施例公開了一種任務(wù)調(diào)度方法、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)。該方法包括：獲取待調(diào)度任務(wù)，并確定所述待調(diào)度任務(wù)的目標(biāo)資源需求；遍歷當(dāng)前時(shí)刻的可用資源屬性圖，生成滿足所述目標(biāo)資源需求的至少兩個(gè)資源分配候選子圖；其中，所述可用資源屬性圖以及所述資源分配候選子圖中頂點(diǎn)的屬性表示資源數(shù)量信息，邊的屬性表示資源關(guān)聯(lián)信息；在所述至少兩個(gè)資源分配候選子圖中確定一個(gè)資源分配目標(biāo)子圖，并按照所述資源分配目標(biāo)子圖對所述待調(diào)度任務(wù)進(jìn)行部署。上述任務(wù)調(diào)度方案適用于大規(guī)模異構(gòu)并行集群，能夠?qū)嘿Y源進(jìn)行更加精細(xì)的調(diào)度管理，提高了集群的整體運(yùn)行效率。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及任務(wù)調(diào)度技術(shù)領(lǐng)域，尤其涉及一種任務(wù)調(diào)度方法、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著大數(shù)據(jù)技術(shù)的普及，現(xiàn)代集群的規(guī)模越來越大，集群中運(yùn)行任務(wù)的種類越來越多，運(yùn)行的周期越來越長。在集群的整個(gè)生命周期中，集群中機(jī)器硬件可能存在差異，并非是單一同構(gòu)的，而且在同一集群上運(yùn)行混合負(fù)載也成為一種趨勢。

一般來講，任務(wù)調(diào)度指的是為任務(wù)進(jìn)行資源分配。在傳統(tǒng)的應(yīng)用場景中，集群機(jī)器和運(yùn)行任務(wù)都是單一同構(gòu)的，調(diào)度粒度較粗，通常是基于內(nèi)存或CPU(Central ProcessingUnit，中央處理器)將主機(jī)資源切分為一個(gè)或多個(gè)分組，組與組之間并沒有能力上的差別，然后以組為單位進(jìn)行資源調(diào)度。出于性能考慮，傳統(tǒng)的任務(wù)調(diào)度方法也會(huì)在調(diào)度過程進(jìn)行一些簡單的約束，例如，Yarn會(huì)優(yōu)先將任務(wù)調(diào)度到存放相應(yīng)數(shù)據(jù)的機(jī)器上，Spark執(zhí)行任務(wù)時(shí)會(huì)盡量將后序子任務(wù)調(diào)度到前序子任務(wù)輸出數(shù)據(jù)所在的機(jī)器上。但總體來講，傳統(tǒng)調(diào)度方法所使用的約束條件比較簡單，僅能考慮諸如靠近存儲(chǔ)節(jié)點(diǎn)、節(jié)點(diǎn)有無GPU(GraphicsProcessing Unit，圖形處理器)之類的簡單約束。

如今大規(guī)模異構(gòu)并行集群需要考慮的資源不再局限于CPU、磁盤、內(nèi)存等，不同集群機(jī)器之間資源也有較大差異，目前僅使用通用簡單約束的任務(wù)調(diào)度方法已不再適用于當(dāng)下復(fù)雜的應(yīng)用場景。因此，如何實(shí)現(xiàn)適用于大規(guī)模異構(gòu)并行集群的任務(wù)調(diào)度是亟待解決的問題。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種任務(wù)調(diào)度方法、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，以適用于大規(guī)模異構(gòu)并行集群，提高對集群資源調(diào)度管理的精細(xì)程度。

第一方面，本發(fā)明實(shí)施例提供了一種任務(wù)調(diào)度方法，包括：

獲取待調(diào)度任務(wù)，并確定所述待調(diào)度任務(wù)的目標(biāo)資源需求；

遍歷當(dāng)前時(shí)刻的可用資源屬性圖，生成滿足所述目標(biāo)資源需求的至少兩個(gè)資源分配候選子圖；其中，所述可用資源屬性圖以及所述資源分配候選子圖中頂點(diǎn)的屬性表示資源數(shù)量信息，邊的屬性表示資源關(guān)聯(lián)信息；

在所述至少兩個(gè)資源分配候選子圖中確定一個(gè)資源分配目標(biāo)子圖，并按照所述資源分配目標(biāo)子圖對所述待調(diào)度任務(wù)進(jìn)行部署。

第二方面，本發(fā)明實(shí)施例還提供了一種任務(wù)調(diào)度裝置，包括：

待調(diào)度任務(wù)獲取并分析模塊，設(shè)置為獲取待調(diào)度任務(wù)，并確定所述待調(diào)度任務(wù)的目標(biāo)資源需求；

資源分配候選子圖生成模塊，設(shè)置為遍歷當(dāng)前時(shí)刻的可用資源屬性圖，生成滿足所述目標(biāo)資源需求的至少兩個(gè)資源分配候選子圖；其中，所述可用資源屬性圖以及所述資源分配候選子圖中頂點(diǎn)的屬性表示資源數(shù)量信息，邊的屬性表示資源關(guān)聯(lián)信息；

待調(diào)度任務(wù)資源分配模塊，設(shè)置為在所述至少兩個(gè)資源分配候選子圖中確定一個(gè)資源分配目標(biāo)子圖，并按照所述資源分配目標(biāo)子圖對所述待調(diào)度任務(wù)進(jìn)行部署。

第三方面，本發(fā)明實(shí)施例還提供了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，當(dāng)計(jì)算機(jī)程序執(zhí)行時(shí)使得處理器執(zhí)行以下操作：

獲取待調(diào)度任務(wù)，并確定所述待調(diào)度任務(wù)的目標(biāo)資源需求；