[發(fā)明專(zhuān)利]一種集群資源動(dòng)態(tài)管理的方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201911037375.4
• 申請(qǐng)日: 2019-10-29
• 公開(kāi)（公告）號(hào): CN112749002A
• 公開(kāi)（公告）日: 2021-05-04
• 發(fā)明（設(shè)計(jì)）人: 陳松玉
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類(lèi)號(hào): G06F9/50
• 分類(lèi)號(hào): G06F9/50;G06F9/48
• 代理公司: 中原信達(dá)知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 李陽(yáng);趙迪

本發(fā)明公開(kāi)了一種集群資源動(dòng)態(tài)管理的方法和裝置，涉及計(jì)算機(jī)技術(shù)領(lǐng)域。該方法的一具體實(shí)施方式包括：根據(jù)預(yù)先設(shè)置的規(guī)則文件，判斷是否需要調(diào)整調(diào)度配置文件中設(shè)置的資源隊(duì)列的配置參數(shù)；其中，資源隊(duì)列包括用于執(zhí)行高優(yōu)先級(jí)任務(wù)的第一資源隊(duì)列，以及執(zhí)行低優(yōu)先級(jí)任務(wù)的第二資源隊(duì)列；在需要調(diào)整配置參數(shù)的情況下，將第一資源隊(duì)列的當(dāng)前資源量調(diào)整為第一目標(biāo)資源量，將第二資源隊(duì)列的當(dāng)前資源量調(diào)整為第二目標(biāo)資源量；按照第一目標(biāo)資源量在第一資源隊(duì)列中執(zhí)行高優(yōu)先級(jí)任務(wù)，在高優(yōu)先級(jí)任務(wù)執(zhí)行結(jié)束后，將第一目標(biāo)資源量分配至第二資源隊(duì)列。該方法通過(guò)調(diào)整資源隊(duì)列占用的資源量保證高優(yōu)先級(jí)任務(wù)順利執(zhí)行，在執(zhí)行結(jié)束后釋放資源量避免資源浪費(fèi)。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)領(lǐng)域，尤其涉及一種集群資源動(dòng)態(tài)管理的方法和裝置。

背景技術(shù)

在集群環(huán)境下，集群資源通常會(huì)被多個(gè)任務(wù)、多個(gè)用戶(hù)同時(shí)使用。如果不進(jìn)行集群資源的管理與規(guī)劃，整個(gè)集群資源很容易被某個(gè)用戶(hù)提交的任務(wù)占滿(mǎn)，其他任務(wù)只能等待。為了解決上述集群資源分配不合理的問(wèn)題，現(xiàn)有技術(shù)中通常使用資源管理調(diào)度器，比如容量調(diào)度器(Capacity Scheduler)、公平調(diào)度器(Fair Scheduler)，對(duì)集群資源進(jìn)行管理。

在實(shí)現(xiàn)本發(fā)明過(guò)程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在如下問(wèn)題：

(1)資源管理調(diào)度器在對(duì)任務(wù)分配資源后，各任務(wù)得到的資源量是固定不變的，但是任務(wù)對(duì)資源的需求量是隨其繁忙程度發(fā)生變化的，因此會(huì)造成資源浪費(fèi)；

(2)現(xiàn)有技術(shù)將不同優(yōu)先級(jí)的任務(wù)混雜在同一個(gè)資源隊(duì)列中，在資源隊(duì)列本身沒(méi)有足夠的計(jì)算資源的情況下，即使任務(wù)的優(yōu)先級(jí)再高，該任務(wù)也無(wú)法執(zhí)行。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實(shí)施例提供一種集群資源動(dòng)態(tài)管理的方法和裝置，通過(guò)將不同優(yōu)先級(jí)的任務(wù)分配到不同的資源隊(duì)列，在滿(mǎn)足規(guī)則文件的情況下，調(diào)整資源隊(duì)列占用的資源量，以保證高優(yōu)先級(jí)任務(wù)順利執(zhí)行，并在執(zhí)行結(jié)束后釋放執(zhí)行高優(yōu)先級(jí)任務(wù)所占用的資源量，避免資源浪費(fèi)。

為實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種集群資源動(dòng)態(tài)管理的方法。

本發(fā)明實(shí)施例的一種集群資源動(dòng)態(tài)管理的方法，包括：根據(jù)預(yù)先設(shè)置的規(guī)則文件，判斷是否需要調(diào)整調(diào)度配置文件中設(shè)置的資源隊(duì)列的配置參數(shù)；其中，所述資源隊(duì)列包括用于執(zhí)行高優(yōu)先級(jí)任務(wù)的第一資源隊(duì)列，以及執(zhí)行低優(yōu)先級(jí)任務(wù)的第二資源隊(duì)列；在需要調(diào)整所述配置參數(shù)的情況下，將所述第一資源隊(duì)列的當(dāng)前資源量調(diào)整為第一目標(biāo)資源量，將所述第二資源隊(duì)列的當(dāng)前資源量調(diào)整為第二目標(biāo)資源量；按照所述第一目標(biāo)資源量在所述第一資源隊(duì)列中執(zhí)行所述高優(yōu)先級(jí)任務(wù)，在所述高優(yōu)先級(jí)任務(wù)執(zhí)行結(jié)束后，將所述第一目標(biāo)資源量分配至所述第二資源隊(duì)列。

可選地，所述規(guī)則文件中設(shè)置有所述高優(yōu)先級(jí)任務(wù)的開(kāi)始執(zhí)行時(shí)間；所述判斷是否需要調(diào)整調(diào)度配置文件中設(shè)置的資源隊(duì)列的配置參數(shù)，包括：判斷當(dāng)前時(shí)間是否為所述高優(yōu)先級(jí)任務(wù)的開(kāi)始執(zhí)行時(shí)間，如果所述當(dāng)前時(shí)間為所述高優(yōu)先級(jí)任務(wù)的開(kāi)始執(zhí)行時(shí)間，則需要調(diào)整所述配置參數(shù)。

可選地，所述規(guī)則文件中設(shè)置有所述高優(yōu)先級(jí)任務(wù)的結(jié)束執(zhí)行時(shí)間；所述在所述高優(yōu)先級(jí)任務(wù)執(zhí)行結(jié)束后，將所述第一目標(biāo)資源量分配至所述第二資源隊(duì)列，包括：判斷所述當(dāng)前時(shí)間是否為所述高優(yōu)先級(jí)任務(wù)的結(jié)束執(zhí)行時(shí)間，如果所述當(dāng)前時(shí)間為所述高優(yōu)先級(jí)任務(wù)的結(jié)束執(zhí)行時(shí)間，則將所述第一目標(biāo)資源量部分分配至所述第二資源隊(duì)列。

可選地，所述規(guī)則文件為監(jiān)控任務(wù)執(zhí)行情況的程序；所述判斷是否需要調(diào)整調(diào)度配置文件中設(shè)置的資源隊(duì)列的配置參數(shù)，包括：如果所述高優(yōu)先級(jí)任務(wù)的任務(wù)執(zhí)行速度低于預(yù)設(shè)閾值，則需要調(diào)整所述配置參數(shù)。