[發(fā)明專利]一種資源分配方法、資源管理器

有效

• 申請(qǐng)?zhí)枺?/td>: 201810506713.3
• 申請(qǐng)日: 2018-05-24
• 公開（公告）號(hào): CN110532087B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 張楊;馮亦揮;歐陽(yáng)晉
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司 11127
• 代理人: 李輝;徐煥

本申請(qǐng)?zhí)峁┝艘环N資源分配方法、資源管理器，其中，該方法包括：獲取資源調(diào)度請(qǐng)求；響應(yīng)于所述調(diào)度請(qǐng)求，按照預(yù)設(shè)策略確定各用戶組的資源配額，所述預(yù)設(shè)策略為：將集群總資源在各用戶組之間等量分配，等量分配后超出該用戶組需求量的資源在不足需求量的用戶組中等量分配；按照確定出的各用戶組的資源配額，為各用戶組分配資源。利用本申請(qǐng)實(shí)施例提供的技術(shù)方案，解決了現(xiàn)有的采用遍歷排隊(duì)隊(duì)列，對(duì)隊(duì)列中的排隊(duì)請(qǐng)求依次進(jìn)行分配的方式所存在的資源在不同用戶組之間無(wú)法公平分配的技術(shù)問(wèn)題，達(dá)到了簡(jiǎn)單高效實(shí)現(xiàn)資源在不同用戶組之間公平分配的技術(shù)效果。

技術(shù)領(lǐng)域

本申請(qǐng)屬于計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種資源分配方法、資源管理器。

背景技術(shù)

在分布式系統(tǒng)中，一般存在三個(gè)角色：資源調(diào)度器、作業(yè)(包括有：作業(yè)管理器及下屬作業(yè)節(jié)點(diǎn))、機(jī)器節(jié)點(diǎn)。如圖1所示，當(dāng)用戶需要提交一個(gè)作業(yè)時(shí)，作業(yè)管理器會(huì)向資源調(diào)度器申請(qǐng)一定數(shù)量的機(jī)器資源(例如：CPU、內(nèi)存等)供作業(yè)節(jié)點(diǎn)使用。資源調(diào)度器在收到作業(yè)資源申請(qǐng)后，會(huì)根據(jù)分布式系統(tǒng)中剩余的可用資源計(jì)算出可以分配給作業(yè)管理器的可用資源列表(例如：在機(jī)器A上可以使用1核CPU、1GB內(nèi)存，在機(jī)器B上可以使用2核CPU、2GB內(nèi)存)；然后，資源調(diào)度器將資源列表發(fā)送給作業(yè)管理器和相應(yīng)的機(jī)器節(jié)點(diǎn)。作業(yè)管理器在收到資源列表后，會(huì)將作業(yè)節(jié)點(diǎn)分配到相應(yīng)的機(jī)器節(jié)點(diǎn)執(zhí)行作業(yè)程序。

如圖2所示，當(dāng)作業(yè)節(jié)點(diǎn)執(zhí)行完畢時(shí)，作業(yè)管理器告知資源管理器歸還該作業(yè)節(jié)點(diǎn)的資源，資源管理器收到歸還申請(qǐng)后，通知機(jī)器節(jié)點(diǎn)釋放掉該作業(yè)節(jié)點(diǎn)的資源，這些被釋放的資源可以被再次分配給其他作業(yè)。

在分布式系統(tǒng)中經(jīng)常會(huì)出現(xiàn)集群整體資源耗盡導(dǎo)致資源申請(qǐng)排隊(duì)的情況，面對(duì)這種情況，一般的處理方式就是對(duì)這些資源申請(qǐng)進(jìn)行排隊(duì)，當(dāng)有機(jī)器出現(xiàn)空余資源時(shí)，遍歷這個(gè)排隊(duì)隊(duì)列，對(duì)隊(duì)列中的排隊(duì)請(qǐng)求依次進(jìn)行分配。

然而，考慮到在分布式系統(tǒng)中會(huì)有多個(gè)用戶同時(shí)提交作業(yè)，每個(gè)用戶自身存在提交多個(gè)獨(dú)立作業(yè)可能，在分配資源的時(shí)候，希望不同用戶拿到的資源總量是公平的，且是盡可能相等，因?yàn)橘Y源如果傾向于一個(gè)用戶，那么將導(dǎo)致其他用戶提交的作業(yè)得不到資源。采用遍歷排隊(duì)隊(duì)列，對(duì)隊(duì)列中的排隊(duì)請(qǐng)求依次進(jìn)行分配的方式，將導(dǎo)致如果排在隊(duì)列前面的作業(yè)都屬于一個(gè)用戶組，那么機(jī)器的剩余資源都會(huì)被排在最前面的用戶組占用，無(wú)法達(dá)到資源在不同用戶組間的公平分配。

針對(duì)如何保持資源在不同用戶組間公平分配，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本申請(qǐng)目的在于提供一種資源分配方法、資源管理器，可以達(dá)到保持資源在不同用戶組間公平分配的目的。

本申請(qǐng)?zhí)峁┮环N資源分配方法、資源管理器是這樣實(shí)現(xiàn)的：

一種資源分配方法，所述方法包括：

獲取資源調(diào)度請(qǐng)求；

響應(yīng)于所述調(diào)度請(qǐng)求，按照預(yù)設(shè)策略確定各用戶組的資源配額，所述預(yù)設(shè)策略為：將集群總資源在各用戶組之間等量分配，等量分配后超出該用戶組需求量的資源在不足需求量的用戶組中等量分配；

按照確定出的各用戶組的資源配額，為各用戶組分配資源。

一種資源管理器，包括處理器以及用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器，所述處理器執(zhí)行所述指令時(shí)實(shí)現(xiàn)：

獲取資源調(diào)度請(qǐng)求；

響應(yīng)于所述調(diào)度請(qǐng)求，按照預(yù)設(shè)策略確定各用戶組的資源配額，所述預(yù)設(shè)策略為：將集群總資源在各用戶組之間等量分配，等量分配后超出該用戶組需求量的資源在不足需求量的用戶組中等量分配；

按照確定出的各用戶組的資源配額，為各用戶組分配資源。

一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)指令，所述指令被執(zhí)行時(shí)實(shí)現(xiàn)上述方法的步驟。