[發明專利]集群GPU資源管理調度系統、方法以及計算機可讀存儲介質

在審

• 申請號: 202010078390.X
• 申請日: 2020-01-23
• 公開（公告）號: CN111538586A
• 公開（公告）日: 2020-08-14
• 發明（設計）人: 喬蕭雅;何東杰
• 申請（專利權）人: 中國銀聯股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 俞華梁;姜冰

1.一種集群GPU資源管理調度系統，所述系統包括主機和第一多個節點，其特征在于：

所述主機用于接收第二多個Pod的資源請求以實現所述第二多個Pod所承載的服務，其包括：

GPU資源描述模塊，其配置成描述所述第一多個節點中的每一者的GPU資源和所述第二多個Pod中的每一者的資源需求，所述資源需求根據所述資源請求生成；以及

GPU資源調度模塊，其配置成根據所述描述將所述第二多個Pod的資源請求在所述第一多個節點上進行調度；

所述第一多個節點中的每一者與所述主機通信，其包括：

GPU監控模塊，其配置成監控該節點的GPU資源并發送給所述GPU資源描述模塊；以及

GPU微處理模塊，其配置成根據所述調度將該節點的GPU資源在所述第二多個Pod中進行分配。

2.根據權利要求1所述的系統，其特征在于，所述GPU資源描述模塊描述的所述GPU資源包括：GPU型號、GPU的UUID、GPU顯存資源和GPU計算資源。

3.根據權利要求2所述的系統，其特征在于，所述GPU顯存資源包括該節點的可用GPU顯存資源，所述GPU計算資源包括對該節點的計算資源的累計請求值、該節點的計算資源的剩余值。

4.根據權利要求3所述的系統，其特征在于，所述GPU資源調度模塊根據所述第一多個節點中的每一者的GPU資源與所述第二多個Pod中的每一者的資源需求的匹配程度進行所述調度。

5.根據權利要求4所述的系統，其特征在于，所述GPU資源調度模塊根據所述第一多個節點中的每一者的GPU資源和所述第二多個Pod中的每一者的資源需求形成的匹配度函數確定所述匹配程度。

6.根據權利要求5所述的系統，其特征在于，所述匹配度函數為

其中，score表示所述匹配度，

表示第i Pod的資源需求中的GPU顯存資源需求，表示第j節點的GPU資源中的可用GPU顯存資源；以及

表示第i Pod的資源需求中的計算資源需求，ability^j表示第j節點的計算能力值，表示第j節點的計算資源的剩余值。

7.根據權利要求1所述的系統，其特征在于，若所述第二多個Pod中的第三Pod所承載的服務包括模型推理服務和模型訓練服務，則所述第三Pod的資源需求中的GPU顯存資源需求包括靜態顯存資源需求和動態顯存資源需求；其中，

所述靜態顯存資源需求用于所述模型推理服務，所述動態顯存資源需求用于所述模型訓練服務。

8.根據權利要求1所述的系統，其特征在于，當所述第二多個Pod中的第四Pod所承載的服務包括模型推理服務和模型訓練服務時，所述GPU微處理模塊基于所述第四Pod的資源需求中的計算資源需求按如下分配用于各個服務的計算資源：

若所述模型訓練服務的所述計算資源需求為α，則所述GPU微處理模塊分配給所述模型推理服務的計算資源不超過2*α；以及

若所述模型推理服務的所述計算資源需求為β，則所述GPU微處理模塊分配給所述模型推理服務的計算資源不超過1.5*β。

9.根據權利要求8所述的系統，其特征在于，所述第四Pod的計算資源的剩余值為R_available；若2*α+1.5*β≥R_available≥α+β，則先給所述模型推理服務和所述模型訓練服務分別分配為α的計算資源、為β的計算資源，各個服務超出其計算資源需求的部分按照優先滿足所述模型推理服務的方式分配計算資源。

10.根據權利要求8所述的系統，其特征在于，所述第四Pod的計算資源的剩余值為R_available；若α+β＞R_available，則按照優先滿足所述模型推理服務的方式分配實際計算資源。