[發明專利]一種GPU資源調度方法

在審

• 申請號: 202010576793.7
• 申請日: 2020-06-22
• 公開（公告）號: CN111796932A
• 公開（公告）日: 2020-10-20
• 發明（設計）人: 徐山川;王濱;王臣漢
• 申請（專利權）人: 貝式計算(天津)信息技術有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48
• 代理公司: 北京卓唐知識產權代理有限公司 11541
• 代理人: 卜榮麗

1.一種GPU資源調度方法，其特征在于，包括步驟：

S1、首先從集群中收集GPU的基本信息，并提供gpu-usages接口，進入步驟S2；

S2、創建GPU應用，并向Kubernetes調度器發送應用請求，進入步驟S3；

S3、Kubernetes調度器在接收到該應用請求后會遍歷集群中所有的GPU應用，進入步驟S4；

S4、通過gpu-usages接口計算滿足該應用的調度需求的GPU，進入步驟S5；

S5、GPU管理器按照應用上GPU所在機器將指定的GPU資源綁定到該應用中。

2.如權利要求1所述的一種GPU資源調度方法，其特征在于，步驟S2中，創建GPU應用過程中，應用提供其所需要的顯存值以及算力值。

3.如權利要求1或2所述的一種GPU資源調度方法，其特征在于，步驟S1中，收集GPU的基本信息包括GPU的型號、顯存和GPU核心。

4.如權利要求3所述的一種GPU資源調度方法，其特征在于，步驟S4中，若集群中沒有滿足該應用的調度需求的GPU，則進入步驟S6，S6、GPU資源的隔離。

5.如權利要求4所述的一種GPU資源調度方法，其特征在于，S6包括步驟S60和S61，S60、發現應用程序要求的顯存超出了預先設定值，或者大于集群中所有GPU顯存值，則返回顯存分配失敗；S61、對執行線程進行包裝，周期性檢查該程序對GPU的核心使用率，超過設定的使用核心值，或者大于集群中所有GPU顯存值，則把當前執行線程劃入等待執行線程中。

6.如權利要求1或2或4或5所述的一種GPU資源調度方法，其特征在于，在步驟S2中，創建GPU應用過程中，還應該提供其所需要的GPU的型號和GPU的個數。

7.如權利要求6所述的一種GPU資源調度方法，其特征在于，在步驟S4中，取滿足需求的第一個GPU，在應用上標記GPU所在的機器的名字以及GPU在機器中的編號。

8.如權利要求1或2或4或5或7所述的一種GPU資源調度方法，其特征在于，在步驟S4中，通過gpu-usages接口尋找有相應個數空閑GPU的機器，并從中選擇空閑個數最少的機器將其名稱添加到應用中。

9.如權利要求1或2或4或5或7所述的一種GPU資源調度方法，其特征在于，在步驟S5中，GPU管理器使用窮舉法將GPU分配給該應用，完成GPU資源的調度和綁定。

10.如權利要求1-9任意所述的一種GPU資源調度方法，其特征在于，該方法對一個GPU應用或者多個GPU應用完成GPU資源的調度。