[發(fā)明專利]一種GPU資源調(diào)度方法

在審

• 申請?zhí)枺?/td>: 202010576793.7
• 申請日: 2020-06-22
• 公開（公告）號: CN111796932A
• 公開（公告）日: 2020-10-20
• 發(fā)明（設計）人: 徐山川;王濱;王臣漢
• 申請（專利權）人: 貝式計算(天津)信息技術有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48
• 代理公司: 北京卓唐知識產(chǎn)權代理有限公司 11541
• 代理人: 卜榮麗

本發(fā)明涉及通信應用技術領域，公開了一種GPU資源調(diào)度方法，包括步驟：S1、首先從集群中收集GPU的基本信息，并提供gpu?usages接口，進入步驟S2；S2、創(chuàng)建GPU應用，并向Kubernetes調(diào)度器發(fā)送應用請求，進入步驟S3；S3、Kubernetes調(diào)度器在接收到該應用請求后會遍歷集群中所有的GPU應用，進入步驟S4；S4、通過gpu?usages接口計算滿足該應用的調(diào)度需求的GPU，進入步驟S5；S5、GPU管理器按照應用上GPU所在機器將指定的GPU資源綁定到該應用中。實現(xiàn)了單個GPU在多個應用中按照GPU顯存和GPU算力百分比的共享，大大提升了單個GPU的利用效率，降低了GPU應用的成本。

技術領域

本發(fā)明涉及通信應用技術領域，具體而言，涉及一種GPU資源調(diào)度方法。

背景技術

隨著設備性能的爆炸式的增長，以及虛擬化技術的逐漸普及，如何在已有的物理設備上實現(xiàn)多臺虛擬化設備的資源動態(tài)分配、靈活調(diào)度、提高資源利用率，以滿足用戶在日常工作中需求迫在眉睫。

采用Kubernetes對企業(yè)服務器集群進行管理極大的降低了企業(yè)的運維成本、提升了資源的利用率，但目前為止Kubernetes對每個機器的資源管理主要是對CPU、內(nèi)存、存儲以及其他硬件的管理。由于目前越來越多的企業(yè)采用GPU進行機器學習的模型訓練和在線服務，對GPU資源的高效管理顯得愈發(fā)重要。

現(xiàn)有技術的缺陷：對GPU資實體GPU卡為單位進行資源分配，無法實現(xiàn)多個應用共享GPU資源，這會導致源是以即使單個應用沒有充分使用所分配的計算資源也無法將這種獨占的資源分配給其他應用，使得GPU資源無法得到充分利用。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于提供一種GPU資源調(diào)度方法，以解決目前的單個應用使GPU資源無法得到充分利用問題。

為了實現(xiàn)上述目的，本發(fā)明提供了如下技術：

一種GPU資源調(diào)度方法，包括步驟：

S1、首先從集群中收集GPU的基本信息，并提供gpu-usages接口，進入步驟S2；

S2、創(chuàng)建GPU應用，并向Kubernetes調(diào)度器發(fā)送應用請求，進入步驟S3；

S3、Kubernetes調(diào)度器在接收到該應用請求后會遍歷集群中所有的GPU應用，進入步驟S4；

S4、通過gpu-usages接口計算滿足該應用的調(diào)度需求的GPU，進入步驟S5；

S5、GPU管理器按照應用上GPU所在機器將指定的GPU資源綁定到該應用中。

進一步地，步驟S2中，創(chuàng)建GPU應用過程中，應用提供其所需要的顯存值以及算力值。

進一步地，步驟S1中，收集GPU的基本信息包括GPU的型號、顯存和GPU核心。

進一步地，步驟S4中，若集群中沒有滿足該應用的調(diào)度需求的GPU，則進入步驟S6,S6、GPU資源的隔離。

進一步地，S6包括步驟S60和S61，S60、發(fā)現(xiàn)應用程序要求的顯存超出了預先設定值，或者大于集群中所有GPU顯存值，則返回顯存分配失敗；S61、對執(zhí)行線程進行包裝，周期性檢查該程序對GPU的核心使用率，超過設定的使用核心值，或者大于集群中所有GPU顯存值，則把當前執(zhí)行線程劃入等待執(zhí)行線程中。

進一步地，在步驟S2中，創(chuàng)建GPU應用過程中，還應該提供其所需要的GPU的型號和GPU的個數(shù)。

進一步地，在步驟S4中，取滿足需求的第一個GPU，在應用上標記GPU所在的機器的名字以及GPU在機器中的編號。