[發(fā)明專利]資源分配方法、主裝置、從裝置和分布式計(jì)算系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710662725.0
• 申請(qǐng)日: 2017-08-04
• 公開（公告）號(hào): CN107515786B
• 公開（公告）日: 2021-02-19
• 發(fā)明（設(shè)計(jì)）人: 倪傳蕾;馬慶祥;張馨予;陳茁
• 申請(qǐng)（專利權(quán)）人: 北京奇虎科技有限公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50
• 代理公司: 北京恒博知識(shí)產(chǎn)權(quán)代理有限公司 11528
• 代理人: 范勝祥

本發(fā)明公開了一種資源分配方法、主裝置、從裝置和分布式計(jì)算系統(tǒng)。所述方法包括：獲取在分布式集群的各物理節(jié)點(diǎn)上可使用的資源總量，為各計(jì)算任務(wù)設(shè)置標(biāo)準(zhǔn)資源限度，將兩者下發(fā)到相應(yīng)物理節(jié)點(diǎn)上的資源分配從裝置中；當(dāng)接收到提交的計(jì)算任務(wù)時(shí)，獲取各物理節(jié)點(diǎn)上當(dāng)前的可用資源；根據(jù)該計(jì)算任務(wù)提交的計(jì)算任務(wù)中配置的資源需求和/或標(biāo)準(zhǔn)資源限度，以及各物理節(jié)點(diǎn)上當(dāng)前的可用資源，確定可運(yùn)行該計(jì)算任務(wù)的資源充足的物理節(jié)點(diǎn)；將計(jì)算任務(wù)分配到資源充足的物理節(jié)點(diǎn)上，由資源充足的物理節(jié)點(diǎn)上的資源分配從裝置在標(biāo)準(zhǔn)資源限度內(nèi)為該計(jì)算任務(wù)分配資源。該技術(shù)方案能夠避免出現(xiàn)多個(gè)計(jì)算任務(wù)爭(zhēng)搶同一計(jì)算資源導(dǎo)致效率低下的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及分布式計(jì)算技術(shù)領(lǐng)域，具體涉及資源分配方法、主裝置、從裝置和分布式計(jì)算系統(tǒng)。

背景技術(shù)

許多分布式系統(tǒng)都通過調(diào)度器來分配、調(diào)度計(jì)算資源，例如Hadoop可以利用Yarn進(jìn)行資源調(diào)度。但是許多分布式計(jì)算系統(tǒng)是不支持調(diào)度器的，資源的分配方法往往不能滿足用戶的需求，可能導(dǎo)致效率低下，甚至出現(xiàn)錯(cuò)誤。

發(fā)明內(nèi)容

鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上述問題的資源分配方法、主裝置、從裝置和分布式計(jì)算系統(tǒng)。

依據(jù)本發(fā)明的一個(gè)方面，提供了一種資源分配方法，其中，該方法應(yīng)用于分布式計(jì)算系統(tǒng)的主節(jié)點(diǎn)上，所述分布式計(jì)算系統(tǒng)部署在分布式集群中，該方法包括：

獲取在所述分布式集群的各物理節(jié)點(diǎn)上可使用的資源總量；

為各計(jì)算任務(wù)設(shè)置標(biāo)準(zhǔn)資源限度；

將各物理節(jié)點(diǎn)上可使用的資源總量和所述標(biāo)準(zhǔn)資源限度下發(fā)到相應(yīng)物理節(jié)點(diǎn)上的資源分配從裝置中；

當(dāng)接收到提交的計(jì)算任務(wù)時(shí)，獲取各物理節(jié)點(diǎn)上當(dāng)前的可用資源；

根據(jù)該計(jì)算任務(wù)提交的計(jì)算任務(wù)中配置的資源需求和/或標(biāo)準(zhǔn)資源限度，以及各物理節(jié)點(diǎn)上當(dāng)前的可用資源，確定可運(yùn)行該計(jì)算任務(wù)的資源充足的物理節(jié)點(diǎn)；

將所述計(jì)算任務(wù)分配到資源充足的物理節(jié)點(diǎn)上，由所述資源充足的物理節(jié)點(diǎn)上的資源分配從裝置在所述標(biāo)準(zhǔn)資源限度內(nèi)為該計(jì)算任務(wù)分配資源。

可選地，所述分布式集群的各物理節(jié)點(diǎn)被多個(gè)分布式系統(tǒng)復(fù)用，所述分布式計(jì)算系統(tǒng)是所述多個(gè)分布式系統(tǒng)中的一個(gè)；

所述分布式計(jì)算系統(tǒng)在所述分布式集群的各物理節(jié)點(diǎn)上可使用的資源是根據(jù)各分布式系統(tǒng)的資源需求量確定的。

可選地，所述資源包括如下的一種或多種：

CPU資源、內(nèi)存資源、網(wǎng)卡資源。

可選地，所述為各計(jì)算任務(wù)設(shè)置標(biāo)準(zhǔn)資源限度包括：在Cgroup limit配置文件中寫入各計(jì)算任務(wù)可使用的標(biāo)準(zhǔn)資源限度；

所述將各物理節(jié)點(diǎn)上可使用的資源總量和所述標(biāo)準(zhǔn)資源限度下發(fā)到相應(yīng)物理節(jié)點(diǎn)上的資源分配從裝置中包括：為各物理節(jié)點(diǎn)生成對(duì)應(yīng)的在Cgroup limit配置文件副本，在各Cgroup limit配置文件副本中寫入在相應(yīng)的物理節(jié)點(diǎn)上可使用的資源總量，將所述Cgroup limit配置文件副本下發(fā)到各資源分配從裝置。

可選地，該方法還包括：按計(jì)算任務(wù)的業(yè)務(wù)類型，為各計(jì)算任務(wù)設(shè)置業(yè)務(wù)資源限度；

所述提交的計(jì)算任務(wù)在提交前，在相應(yīng)的業(yè)務(wù)資源限度內(nèi)配置資源需求。

依據(jù)本發(fā)明的另一方面，提供了一種資源分配方法，其中，該方法應(yīng)用于分布式計(jì)算系統(tǒng)中的從節(jié)點(diǎn)上，所述分布式計(jì)算系統(tǒng)部署在分布式集群中，且各從節(jié)點(diǎn)對(duì)應(yīng)部署在分布式集群的一個(gè)物理節(jié)點(diǎn)上，該方法包括：

獲取各計(jì)算任務(wù)的標(biāo)準(zhǔn)資源限度和本物理節(jié)點(diǎn)上可使用的物理資源總量；