[發明專利]資源分配方法、主裝置、從裝置和分布式計算系統

有效

• 申請號: 201710662725.0
• 申請日: 2017-08-04
• 公開（公告）號: CN107515786B
• 公開（公告）日: 2021-02-19
• 發明（設計）人: 倪傳蕾;馬慶祥;張馨予;陳茁
• 申請（專利權）人: 北京奇虎科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京恒博知識產權代理有限公司 11528
• 代理人: 范勝祥

1.一種資源分配方法，其中，該方法應用于分布式計算系統的主節點上，所述分布式計算系統部署在分布式集群中，該方法包括：

獲取在所述分布式集群的各物理節點上可使用的資源總量，其中，各物理節點上可使用的資源總量就是相應的物理節點上的所有資源；

為各計算任務設置標準資源限度；

將各物理節點上可使用的資源總量和所述標準資源限度下發到相應物理節點上的資源分配從裝置中；

當接收到提交的計算任務時，獲取各物理節點上當前的可用資源；

根據該計算任務提交的計算任務中配置的資源需求和/或標準資源限度，以及各物理節點上當前的可用資源，確定可運行該計算任務的資源充足的物理節點；

其中，所述確定可運行該計算任務的資源充足的物理節點，包括：

若所述計算任務中存在所述資源需求，則確定各物理節點上當前的可用資源大于所述資源需求的物理節點，為可運行該計算任務的資源充足的物理節點；

若所述計算任務中不存在所述資源需求，則確定各物理節點上當前的可用資源大于所述標準資源限度的物理節點，為可運行該計算任務的資源充足的物理節點；

將所述計算任務分配到資源充足的物理節點上，由所述資源充足的物理節點上的資源分配從裝置在所述標準資源限度內為該計算任務分配資源。

2.如權利要求1所述的方法，其中，所述分布式集群的各物理節點被多個分布式系統復用，所述分布式計算系統是所述多個分布式系統中的一個；

所述分布式計算系統在所述分布式集群的各物理節點上可使用的資源是根據各分布式系統的資源需求量確定的。

3.如權利要求1所述的方法，其中，所述資源包括如下的一種或多種：

CPU資源、內存資源、網卡資源。

4.如權利要求1所述的方法，其中，所述為各計算任務設置標準資源限度包括：在Cgroup limit配置文件中寫入各計算任務可使用的標準資源限度；

所述將各物理節點上可使用的資源總量和所述標準資源限度下發到相應物理節點上的資源分配從裝置中包括：為各物理節點生成對應的在Cgroup limit配置文件副本，在各Cgroup limit配置文件副本中寫入在相應的物理節點上可使用的資源總量，將所述Cgrouplimit配置文件副本下發到各資源分配從裝置。

5.如權利要求1所述的方法，其中，該方法還包括：按計算任務的業務類型，為各計算任務設置業務資源限度；

所述提交的計算任務在提交前，在相應的業務資源限度內配置資源需求。

6.一種資源分配方法，其中，該方法應用于分布式計算系統中的從節點上，所述分布式計算系統部署在分布式集群中，且各從節點對應部署在分布式集群的一個物理節點上，該方法包括：

獲取各計算任務的標準資源限度和本物理節點上可使用的物理資源總量，其中，各物理節點上可使用的資源總量就是相應的物理節點上的所有資源；

當接收到下發的計算任務時，根據所述計算任務中配置的資源需求和/或標準資源限度，在所述標準資源限度內為所述計算任務分配資源，將分配的資源記錄為已分配資源；

在所述計算任務結束后，釋放相應的已分配資源；

當接收到可用資源獲取請求時，根據記錄的已分配資源和在該物理節點上可用的資源總量，確定該物理節點當前的可用資源并上報。

7.如權利要求6所述的方法，其中，所述獲取各計算任務的標準資源限度包括：

接收下發的Cgroup limit配置文件副本，所述Cgroup limit配置文件副本中寫有本物理節點上可使用的資源總量及各計算任務可使用的標準資源限度；

所述在所述標準資源限度內為所述計算任務分配資源包括：以Cgroup limit方式啟動所述計算任務。